共計(jì) 1532 個(gè)字符，預(yù)計(jì)需要花費(fèi) 4 分鐘才能閱讀完成。

本篇內(nèi)容主要講解“getConf 與 new Configuration 怎么配置”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓丸趣 TV 小編來(lái)帶大家學(xué)習(xí)“getConf 與 new Configuration 怎么配置”吧!

#getConf
所有的配置都通過(guò)命令的形式, 此種情況下支持 -files

sudo -uwirelessdev hadoop jar \
/home/q/script/mods/mrjob/mods-1.0-SNAPSHOT-jar-with-dependencies.jar \
-files /home/q/script/mods/mrjob/mods.acid \
-D mapreduce.job.queuename=wirelessdev \
-D mapreduce.job.priority=VERY_HIGH \
-D mapreduce.map.memory.mb=8192 \
-D mapreduce.map.java.opts= -Xmx8192M  \
-D mapreduce.reduce.memory.mb=8192 \
-D mapreduce.reduce.java.opts= -Xmx8192M  \
-D mapreduce.job.reduces=100 \
-D mapred.reduce.tasks=100 \
-D mapreduce.job.name=mods_firstjob_leofei.li \
/user/wirelessdev/marmot_warehouse/ods/ods_modss_frame/dt=2016-07-13/platform=Ios-pad/* \
/user/wirelessdev/leofei.li/firstjob

#new Configuration 配置項(xiàng)通過(guò)代碼進(jìn)行配置，此時(shí)，通過(guò)命令行的配置項(xiàng)會(huì)失效

Configuration conf =new Configuration();
conf.set( fs.defaultFS , hdfs://qunarcluster 
conf.set( mapreduce.job.queuename , wirelessdev 
conf.set( mapreduce.job.reduces , 100 
conf.set( mapreduce.job.priority , VERY_HIGH 
conf.set( mapreduce.map.memory.mb , 8192 
conf.set( mapreduce.map.java.opts , -Xmx8192M 
conf.set( mapreduce.reduce.memory.mb , 8192 
conf.set(mapreduce.reduce.java.opts , -Xmx8192M

該情況下不支持 -files，需要使用 DistributedCache, 默認(rèn) hdfs 路徑

DistributedCache.addCacheFile(new Path( /user/wirelessdev/leofei.li/conf/mods.acid).toUri(), conf);

# 推薦

Configuration conf = getConf(); conf.set( mapreduce.job.queuename , wirelessdev 
Job job = Job.getInstance(conf, mods_firstjob_leofei.li

到此，相信大家對(duì)“getConf 與 new Configuration 怎么配置”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是丸趣 TV 網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！