sqoop怎么指定pg庫的模式

這篇“sqoop怎么指定pg庫的模式”文章的知識點大部分人都不太理解，所以小編給大家總結了以下內容，內容詳細，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“sqoop怎么指定pg庫的模式”文章吧。

sqoop是一款用于hadoop和關系型數據庫之間數據導入導出的工具。你可以通過sqoop把數據從數據庫（比如mysql,oracle）導入到hdfs中；也可以把數據從hdfs中導出到關系型數據庫中。sqoop通過Hadoop的MapReduce導入導出，因此提供了很高的并行性能以及良好的容錯性。

sqoop適合以下的人群使用：

• 系統和應用開發者

• 系統管理員

• 數據庫管理員

• 數據分析師

• 數據工程師

說明

使用sqoop導出導入數據非常的方便，但是對于postgresql(簡稱PG庫)時就碰到了一個問題，pg庫是三層結構的database——schema——table。如果想導入到某一個模式下，那就需要指定模式才可以。但是sqoop如何指定pg庫的模式？

解決辦法

碰到問題首先要看文檔才對的。文檔這里已經指出如何指定pg庫的schema了。官方文檔地址
文檔已經說了，如果向指定schema需要添加-- --schema <name> 但是要注意的是必須在命令行的！！！！最后！！！添加才會生效。

但是，這是命令行的解決辦法，如果我們使用的是java呢？在沒解決之前，我的java代碼是這樣寫的：

public static boolean ExportCmdInPg(Configuration conf, String tableName, List<String> columns, String hdfsDir,Map<String, String> dbMap) {
        try {
            LogUtils.logInfoPrint("開始任務",logger);
            List<String> list = new ArrayList<>();
            list.add("--connect");
            list.add(dbMap.get(Constant.DRIVERURL));
            list.add("--username");
            list.add(dbMap.get(Constant.USER));
            list.add("--password");
            list.add(dbMap.get(Constant.PASSWORD));
            list.add("--table");
            list.add(tableName);
            list.add("--columns");
            list.add(StringUtils.join(columns, ','));
            list.add("--fields-terminated-by");
            list.add("\t");
            list.add("--export-dir");
            list.add(hdfsDir);
            list.add("-m");
            list.add("1");
            ExportTool exporter = new ExportTool();
            Sqoop sqoop = new Sqoop(exporter);
            String[] data = list.toArray(new String[0]);
            if (0 == data.length) {
                LogUtils.logErrorPrint("sqoop參數為空，請檢查ExportCmd方法！",logger);
                return false;
            }
            if (0 == Sqoop.runSqoop(sqoop, data)){
                return true;
            }
        }catch (Exception e){
            LogUtils.logErrorPrint("ExportCmd 導入到HDFS出現錯誤",logger,e);
        }
        return false;
    }

結果當然是不成功。那我哦添加-- --schema 參數試一下

public static boolean ExportCmdInPg(Configuration conf, String tableName, List<String> columns, String hdfsDir,Map<String, String> dbMap) {
        try {
            LogUtils.logInfoPrint("開始任務",logger);
            List<String> list = new ArrayList<>();
            list.add("--connect");
            list.add(dbMap.get(Constant.DRIVERURL));
            list.add("--username");
            list.add(dbMap.get(Constant.USER));
            list.add("--password");
            list.add(dbMap.get(Constant.PASSWORD));
            list.add("--table");
            list.add(tableName);
            list.add("--columns");
            list.add(StringUtils.join(columns, ','));
            list.add("--fields-terminated-by");
            list.add("\t");
            list.add("--export-dir");
            list.add(hdfsDir);
            list.add("-m");
            list.add("1");
            list.add("-- --schema");
            list.add("HERO");
            ExportTool exporter = new ExportTool();
            Sqoop sqoop = new Sqoop(exporter);
            String[] data = list.toArray(new String[0]);
            if (0 == data.length) {
                LogUtils.logErrorPrint("sqoop參數為空，請檢查ExportCmd方法！",logger);
                return false;
            }
            if (0 == Sqoop.runSqoop(sqoop, data)){
                return true;
            }
        }catch (Exception e){
            LogUtils.logErrorPrint("ExportCmd 導入到HDFS出現錯誤",logger,e);
        }
        return false;
    }

結果也是不成功，顯示報錯不識別-- --schema 。。。為了能夠使schema參數生效，廢了我不少勁。。。也查了不少資料，但是查到的資料都沒有關于java的schema的設置。所以。。。最終正確的解決辦法是：

public static boolean ExportCmdInPg(Configuration conf, String tableName, List<String> columns, String hdfsDir,Map<String, String> dbMap) {
        try {
            LogUtils.logInfoPrint("開始sqoop將oracle的數據導出到HDFS目錄",logger);
            List<String> list = new ArrayList<>();
            list.add("--connect");
            list.add(dbMap.get(Constant.DRIVERURL));
            list.add("--username");
            list.add(dbMap.get(Constant.USER));
            list.add("--password");
            list.add(dbMap.get(Constant.PASSWORD));
            list.add("--table");
            list.add(tableName);
            list.add("--columns");
            list.add(StringUtils.join(columns, ','));
            list.add("--fields-terminated-by");
            list.add("\t");
            list.add("--export-dir");
            list.add(hdfsDir);
            list.add("-m");
            list.add("1");
            // 注意這里是--是分開的，源碼這里是通過--做判斷的
            list.add("--");
            list.add("--schema");
            list.add("HERO");
            ExportTool exporter = new ExportTool();
            Sqoop sqoop = new Sqoop(exporter);
            String[] data = list.toArray(new String[0]);
            if (0 == data.length) {
                LogUtils.logErrorPrint("sqoop參數為空，請檢查ExportCmd方法！",logger);
                return false;
            }
            if (0 == Sqoop.runSqoop(sqoop, data)){
                return true;
            }
        }catch (Exception e){
            LogUtils.logErrorPrint("ExportCmd 導入到HDFS出現錯誤",logger,e);
        }
        return false;
    }

當然你也可能會使用字符串數組，數組方式就要這樣寫了

// 這里只是舉個示例
String[] string = new String[]{"--","--schema","HERO"}

以上就是關于“sqoop怎么指定pg庫的模式”這篇文章的內容，相信大家都有了一定的了解，希望小編分享的內容對大家有幫助，若想了解更多相關的知識內容，請關注億速云行業資訊頻道。