中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

修改hadoop腳本改變CLASSPATH中jar加載順序

發布時間:2020-06-23 15:35:47 來源:網絡 閱讀:3117 作者:rumeng_you 欄目:大數據

    先說一下環境,有兩個集群,一個新的一個舊的,打算把新的調試好然后把舊的關掉。

    新:Cloudera Express 5.6.0,CDH-5.6.0

    舊: Cloudera Express 5.0.5,CDH-5.0.5

    新集群搭建過程中發現一個問題,執行以下命令對lzo文件創建索引,在新集群中job無法提交到指定隊列,同樣的命令在舊集群中正常:

     hadoop jar hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer  -D mapreduce.job.queuename=copy  /data/lzodata/


    兩個集群的配置區別在于,舊集群lzo的配置一個是手動的,新集群是用GPLEXTRAS的parcel包配置的。

用GPLEXTRAS配置的新集群默認吧lzo的jar包加載到hadoop  classpath路徑中了,導致的結果是DistributedLzoIndexer  提交不到正確的隊列。

    因為新版版的hadoop-lzo.jar中

    com.hadoop.compression.lzo.DistributedLzoIndexer 修改了獲取Configuration的方式

     Configuration conf = new Configuration();                                                  Job job = new Job(conf );   

    舊版本中為

    Job job = new Job(getConf());                                                              

    修改了源碼,然后重新上傳到提交job的服務器,只在提交job的時候起作用。                                                  

    修改腳本的位置,修改前請做好備份:

    /opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/bin

    修改腳本中 export CLASSPATH=/opt/cloudera/userlib/hadoop-lzo.jar:$CLASSPATH


    上面的/opt/cloudera/userlib/hadoop-lzo.jar為想要加載的路徑



向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

兰考县| 贵阳市| 临猗县| 富宁县| 无为县| 资兴市| 桃江县| 贵阳市| 孟州市| 汶川县| 宣恩县| 高平市| 洛扎县| 瑞金市| 无锡市| 花莲市| 竹山县| 林芝县| 乾安县| 夹江县| 阿尔山市| 千阳县| 灯塔市| 红原县| 平山县| 建始县| 湛江市| 怀集县| 上高县| 虞城县| 稻城县| 榆中县| 麻城市| 绥棱县| 额尔古纳市| 博乐市| 镇坪县| 宾阳县| 武穴市| 定兴县| 凌云县|