中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

getConf與new Configuration怎么配置

發布時間:2021-12-20 13:53:31 來源:億速云 閱讀:201 作者:iii 欄目:云計算

本篇內容主要講解“getConf與new Configuration怎么配置”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“getConf與new Configuration怎么配置”吧!

#getConf
所有的配置都通過命令的形式,此種情況下支持-files

sudo -uwirelessdev hadoop jar  \
/home/q/script/mods/mrjob/mods-1.0-SNAPSHOT-jar-with-dependencies.jar  \
-files /home/q/script/mods/mrjob/mods.acid   \
-D mapreduce.job.queuename=wirelessdev   \
-D mapreduce.job.priority=VERY_HIGH   \
-D mapreduce.map.memory.mb=8192   \
-D mapreduce.map.java.opts='-Xmx8192M'   \
-D mapreduce.reduce.memory.mb=8192  \
-D mapreduce.reduce.java.opts='-Xmx8192M'   \
-D mapreduce.job.reduces=100    \
-D mapred.reduce.tasks=100   \
-D mapreduce.job.name=mods_firstjob_leofei.li   \
/user/wirelessdev/marmot_warehouse/ods/ods_modss_frame/dt=2016-07-13/platform=Ios-pad/*  \
/user/wirelessdev/leofei.li/firstjob

#new Configuration 配置項通過代碼進行配置,此時,通過命令行的配置項會失效

Configuration conf =new Configuration();
conf.set("fs.defaultFS","hdfs://qunarcluster");
conf.set("mapreduce.job.queuename","wirelessdev");
conf.set("mapreduce.job.reduces","100");
conf.set("mapreduce.job.priority","VERY_HIGH");
conf.set("mapreduce.map.memory.mb","8192");
conf.set("mapreduce.map.java.opts","-Xmx8192M");
conf.set("mapreduce.reduce.memory.mb","8192");
conf.set("mapreduce.reduce.java.opts","-Xmx8192M");

該情況下不支持-files,需要使用DistributedCache,默認hdfs路徑

DistributedCache.addCacheFile(new Path("/user/wirelessdev/leofei.li/conf/mods.acid").toUri(), conf);

#推薦

Configuration conf =  getConf();        conf.set("mapreduce.job.queuename","wirelessdev");
Job job = Job.getInstance(conf,"mods_firstjob_leofei.li");

到此,相信大家對“getConf與new Configuration怎么配置”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

福海县| 洪江市| 子洲县| 汝南县| 布尔津县| 霍林郭勒市| 改则县| 浦县| 怀化市| 开原市| 延安市| 阿坝县| 南平市| 安吉县| 藁城市| 南溪县| 遵化市| 夏邑县| 贞丰县| 枣阳市| 镇康县| 繁峙县| 长沙县| 聂拉木县| 西青区| 宁津县| 岫岩| 堆龙德庆县| 元阳县| 武冈市| 葫芦岛市| 右玉县| 玉树县| 大化| 梅州市| 赣州市| 托克托县| 攀枝花市| 绍兴县| 中方县| 皮山县|