共計(jì) 3401 個(gè)字符，預(yù)計(jì)需要花費(fèi) 9 分鐘才能閱讀完成。

丸趣 TV 小編給大家分享一下 hadoop 偽集群怎么搭建，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

準(zhǔn)備工作：

1、筆記本 4G 內(nèi)存，操作系統(tǒng) WIN7

2、工具：VMware Workstation

3、虛擬機(jī)：CentOS6.5（64 位）共 3 臺，一個(gè) master，兩個(gè) slave，

安裝好一個(gè)主機(jī) master 的 CentOS 系統(tǒng)，1、系統(tǒng)環(huán)境設(shè)置（先配置 master 節(jié)點(diǎn)）

1.1 修改主機(jī)名

vim /etc/sysconfig/network

NETWORKING=yes HOSTNAME=master NTPSERVERARGS=iburst

1.2 修改主機(jī)名和 IP 的映射關(guān)系（hosts）

vim /etc/hosts

添加：192.168.111.131 master

1.3 關(guān)閉防火墻

service iptables status // 查看防火墻的狀態(tài) service iptables stop // 關(guān)閉防火墻 chkconfig iptables –list // 查看防火墻開機(jī)啟動狀態(tài) chkconfig iptables off // 關(guān)閉防火墻開機(jī)啟動

1.4 重啟系統(tǒng)

#reboot 2. 安裝 jdk

1、下載 jdk，地址：http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2、上傳到虛擬機(jī)

3、解壓 jdk

#mkdir opt

#tar -zxvf jdk-7u79-linux-x64.tar.gz

4、將 java 添加到環(huán)境變量中

#vim /etc/profile

// 在文件的最后添加

export JAVA_HOME=/home/master/opt/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin

source /etc/profilejava -version

配置 ssh 免登錄

$ ssh-keygen -t rsa (四個(gè)回車)

$ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

$ ~/.ssh/authorized_keys // 查看 rsa 4. 安裝 hadoop2.6.0

首先將 hadoop 解壓縮到 opt 文件夾

4.1 配置 hadoop

4.1.1 配置 hadoop-env.sh

將 JAVA_HOME 修改為剛才配置的位置 export JAVA_HOME=/home/master/opt/jdk1.7.0_79

4.1.2 配置 core-site.xml

添加下面的內(nèi)容:

configuration property name fs.defaultFS /name value hdfs://master:9000 /value /property property name hadoop.tmp.dir /name value /home/master/opt/hadoop-2.6.0/tmp /value /property property name io.file.buffer.size /name value 4096 /value /property /configuration

4.1.3 配置 hdfs-site.xml

添加下面的內(nèi)容:

configuration property name dfs.replication /name value 2 /value /property property name dfs.namenode.name.dir /name value file:///home/master/opt/hadoop-2.6.0/dfs/name /value /property property name dfs.datanode.data.dir /name value file:///home/master/opt/hadoop-2.6.0/dfs/data /value /property property name dfs.nameservices /name value h2 /value /property

property name dfs.namenode.secondary.http-address /name value master:50090 /value /property property name dfs.webhdfs.enabled /name value true /value /property

/configuration

4.1.4 配置 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

添加下面的內(nèi)容:

configuration property name mapreduce.framework.name /name value yarn /value final true /final /property property name mapreduce.jobtracker.http.address /name value master:50030 /value /property property name mapreduce.jobhistory.address /name value master:10020 /value /property property name mapreduce.jobhistory.webapp.address /name value master:19888 /value /property property name mapred.job.tracker /name value http://master:9001 /value /property /configuration

4.1.5 配置 yarn-site.xml

添加下面的內(nèi)容:

configuration !– Site specific YARN configuration properties — property name yarn.resourcemanager.hostname /name value master /value /property property name yarn.nodemanager.aux-services /name value mapreduce_shuffle /value /property property name yarn.resourcemanager.address /name value master:8032 /value /property property name yarn.resourcemanager.scheduler.address /name value master:8030 /value /property property name yarn.resourcemanager.resource-tracker.address /name value master:8031 /value /property property name yarn.resourcemanager.admin.address /name value master:8033 /value /property property name yarn.resourcemanager.webapp.address /name value master:8088 /value /property /configuration

4.2 將 hadoop 添加到環(huán)境變量

export HADOOP_HOME=/home/master/opt/hadoop-2.6.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4.3 格式化 namenode

hdfs namenode -format

4.4 啟動 hadoop

先啟動 HDFS：

sbin/start-dfs.sh

再啟動 YARN

sbin/start-yarn.sh

4.4 驗(yàn)證是否啟動成功

jps

2871 ResourceManager 3000 Jps 2554 NameNode 2964 NodeManager 2669 DataNode

以上是“hadoop 偽集群怎么搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注丸趣 TV 行業(yè)資訊頻道！