共計 3380 個字符，預計需要花費 9 分鐘才能閱讀完成。

這期內容當中丸趣 TV 小編將會給大家帶來有關 Hadoop 2.x 中怎么搭建偽分布式環境，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

1、修改 hadoop-env.sh、yarn-env.sh、mapred-env.sh

方法：使用 notepad++(beifeng 用戶) 打開這三個文件

添加代碼：export JAVA_HOME=/opt/modules/jdk1.7.0_67

2、修改 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 配置文件

1）修改 core-site.xml

configuration 
 property 
 name fs.defaultFS /name 
 value hdfs://Hadoop-senior02.beifeng.com:8020 /value 
 /property 
 property 
 name hadoop.tmp.dir /name 
 value /opt/modules/hadoop-2.5.0/data /value 
 /property 
 /configuration

2）修改 hdfs-site.xml

configuration 
 property 
 name dfs.replication /name 
 value 1 /value 
 /property 
 property 
 name dfs.namenode.http-address /name 
 value Hadoop-senior02.beifeng.com:50070 /value 
 /property 
 /configuration

3）修改 yarn-site.xml

configuration 
 property 
 name yarn.nodemanager.aux-services /name 
 value mapreduce_shuffle /value 
 /property 
 property 
 name yarn.resourcemanager.hostname /name 
 value Hadoop-senior02.beifeng.com /value 
 /property 
 property 
 name yarn.log-aggregation-enable /name 
 value true /value 
 /property 
 property 
 name yarn.log-aggregation.retain-seconds /name 
 value 86400 /value 
 /property 
 /configuration

4）修改 mapred-site.xml

configuration 
 property 
 name mapreduce.framework.name /name 
 value yarn /value 
 /property 
 property 
 name mapreduce.jobhistory.webapp.address /name 
 value 0.0.0.0:19888 /value 
 /property 
 /configuration

3、啟動 hdfs

1）格式化 namenode:$ bin/hdfs namenode -format

2）啟動 namenode:$sbin/hadoop-daemon.sh start namenode

3）啟動 datanode:$sbin/hadoop-daemon.sh start datanode

4）hdfs 監控 web 頁面：http://hadoop-senior02.beifeng.com:50070

4、啟動 yarn

1）啟動 resourcemanager:$sbin/yarn-daemon.sh start resourcemanager

2）啟動 nodemanager:sbin/yarn-daemon.sh start nodemanager

3）yarn 監控 web 頁面：http://hadoop-senior02.beifeng.com:8088

5、測試 wordcount jar 包

1）定位路徑：/opt/modules/hadoop-2.5.0

2）代碼測試：bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/sort.txt /output6/

運行過程：

16/05/08 06:39:13 INFO client.RMProxy: Connecting to ResourceManager at Hadoop-senior02.beifeng.com/192.168.241.130:8032
16/05/08 06:39:15 INFO input.FileInputFormat: Total input paths to process : 1
16/05/08 06:39:15 INFO mapreduce.JobSubmitter: number of splits:1
16/05/08 06:39:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1462660542807_0001
16/05/08 06:39:16 INFO impl.YarnClientImpl: Submitted application application_1462660542807_0001
16/05/08 06:39:16 INFO mapreduce.Job: The url to track the job: http://Hadoop-senior02.beifeng.com:8088/proxy/application_1462660542807_0001/
16/05/08 06:39:16 INFO mapreduce.Job: Running job: job_1462660542807_0001
16/05/08 06:39:36 INFO mapreduce.Job: Job job_1462660542807_0001 running in uber mode : false
16/05/08 06:39:36 INFO mapreduce.Job: map 0% reduce 0%
16/05/08 06:39:48 INFO mapreduce.Job: map 100% reduce 0%
16/05/08 06:40:04 INFO mapreduce.Job: map 100% reduce 100%
16/05/08 06:40:04 INFO mapreduce.Job: Job job_1462660542807_0001 completed successfully
16/05/08 06:40:04 INFO mapreduce.Job: Counters: 49

3）結果查看：bin/hdfs dfs -text /output6/par*

運行結果：

hadoop 2
jps 1
mapreduce 2
yarn 1

6、MapReduce 歷史服務器

1）啟動：sbin/mr-jobhistory-daemon.sh start historyserver

2）web ui 界面：http://hadoop-senior02.beifeng.com:19888

7、hdfs、yarn、mapreduce 功能

1）hdfs：分布式文件系統，高容錯性的文件系統，適合部署在廉價的機器上。

hdfs 是一個主從結構，分為 namenode 和 datanode，其中 namenode 是命名空間，datanode 是存儲空間，datanode 以數據塊的形式進行存儲，每個數據塊 128M

2）yarn：通用資源管理系統，為上層應用提供統一的資源管理和調度。

yarn 分為 resourcemanager 和 nodemanager，resourcemanager 負責資源調度和分配，nodemanager 負責數據處理和資源

3）mapreduce：MapReduce 是一種計算模型，分為 Map（映射）和 Reduce（歸約）。

map 將每一行數據處理后，以鍵值對的形式出現，并傳給 reduce；reduce 將 map 傳過來的數據進行匯總和統計。

上述就是丸趣 TV 小編為大家分享的 Hadoop 2.x 中怎么搭建偽分布式環境了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注丸趣 TV 行業資訊頻道。