共計 7002 個字符，預計需要花費 18 分鐘才能閱讀完成。
這篇文章將為大家詳細講解有關 hadoop2.7.2 集群如何搭建，丸趣 TV 小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
集群規劃：
主機名 IP 安裝的軟件 運行的進程
Hadoop1 192.168.111.143 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)、ResourceManager
Hadoop2 192.168.111.144 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)、ResourceManager
Hadoop3 192.168.111.145 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop4 192.168.111.146 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop5 192.168.111.147 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain1. zookeeper 集群搭建 1.1 解壓
tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hbase1.2 修改配置
cd /home/hbase/zookeeper-3.4.9/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg修改：
dataDir=/home/hbase/zookeeper-3.4.9/tmp在 zoo.cfg 最后添加：
server.1=hadoop3:2888:3888
server.2=hadoop4:2888:3888
server.3=hadoop5:2888:3888 然后創建一個 tmp 文件夾
mkdir /home/hbase/zookeeper-3.4.9/tmp
再創建一個空文件
touch /home/hbase/zookeeper-3.4.9/tmp/myid
最后向該文件寫入 ID
echo 1 /home/hbase/zookeeper-3.4.9/tmp/myid1.3 將配置好的 zookeeper 拷貝到其他節點
scp -r /home/hbase/zookeeper-3.4.9/ hadoop4: /home/hbase/
scp -r /home/hbase/zookeeper-3.4.9/ hadoop5: /home/hbase/注意：修改 hadoop4、hadoop5 對應 /home/hbase /zookeeper-3.4.9/tmp/myid 內容
hadoop4： echo 2 /home/hbase/zookeeper-3.4.9/tmp/myid
hadoop5： echo 3 /home/hbase/zookeeper-3.4.9/tmp/myid2. 安裝配置 hadoop 集群（在 hadoop1 上操作）2.1 解壓
tar -zxvf hadoop-2.7.2.tar.gz -C /home/hbase/2.2 配置 HDFS
# 將 hadoop 添加到環境變量中
vim /etc/profile
export JAVA_HOME=/home/habse/jdk/jdk1.7.0_79
export HADOOP_HOME=/home/habse/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0 的配置文件全部在 $HADOOP_HOME/etc/hadoop 下
cd /home/habse/hadoop-2.7.2/etc/hadoop2.2.1 修改 hadoop-env.sh
export JAVA_HOME=/home/hbase/jdk/jdk1.7.0_792.2.2 修改 core-site.xml
configuration
!-- 指定 hdfs 的 nameservice 為 ns1 --
property
name fs.defaultFS /name
value hdfs://ns1 /value
/property
!-- 指定 hadoop 臨時目錄 --
property
name hadoop.tmp.dir /name
value /home/habse/hadoop-2.7.2/tmp /value
/property
!-- 指定 zookeeper 地址 --
property
name ha.zookeeper.quorum /name
value hadoop3:2181,hadoop4:2181,hadoop5:2181 /value
/property
/configuration2.2.3 修改 hdfs-site.xml
configuration
!-- 指定 hdfs 的 nameservice 為 ns1，需要和 core-site.xml 中的保持一致 --
property
name dfs.nameservices /name
value ns1 /value
/property
!-- ns1 下面有兩個 NameNode，分別是 nn1，nn2 --
property
name dfs.ha.namenodes.ns1 /name
value nn1,nn2 /value
/property
!-- nn1 的 RPC 通信地址 --
property
name dfs.namenode.rpc-address.ns1.nn1 /name
value hadoop1:9000 /value
/property
!-- nn1 的 http 通信地址 --
property
name dfs.namenode.http-address.ns1.nn1 /name
value hadoop1:50070 /value
/property
!-- nn2 的 RPC 通信地址 --
property
name dfs.namenode.rpc-address.ns1.nn2 /name
value hadoop2:9000 /value
/property
!-- nn2 的 http 通信地址 --
property
name dfs.namenode.http-address.ns1.nn2 /name
value hadoop2:50070 /value
/property
!-- 指定 NameNode 的元數據在 JournalNode 上的存放位置 --
property
name dfs.namenode.shared.edits.dir /name
value qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485/ns1 /value
/property
!-- 指定 JournalNode 在本地磁盤存放數據的位置 --
property
name dfs.journalnode.edits.dir /name
value /home/hbase/hadoop-2.7.2/journal /value
/property
!-- 開啟 NameNode 失敗自動切換 --
property
name dfs.ha.automatic-failover.enabled /name
value true /value
/property
!-- 配置失敗自動切換實現方式 --
property
name dfs.client.failover.proxy.provider.ns1 /name
value org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider /value
/property
!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行 --
property
name dfs.ha.fencing.methods /name
value
sshfence
shell(/bin/true)
/value
/property
!-- 使用 sshfence 隔離機制時需要 ssh 免登陸 --
property
name dfs.ha.fencing.ssh.private-key-files /name
value /root/.ssh/id_rsa /value
/property
!-- 配置 sshfence 隔離機制超時時間 --
property
name dfs.ha.fencing.ssh.connect-timeout /name
value 30000 /value
/property
/configuration2.2.4 修改 mapred-site.xml
configuration
!-- 指定 mr 框架為 yarn 方式 --
property
name mapreduce.framework.name /name
value yarn /value
/property
/configuration2.2.5 修改 yarn-site.xml
configuration
!-- Site specific YARN configuration properties --
!-- 開啟 RM 高可靠 --
property
name yarn.resourcemanager.ha.enabled /name
value true /value
/property
!-- 指定 RM 的 cluster id --
property
name yarn.resourcemanager.cluster-id /name
value yrc /value
/property
!-- 指定 RM 的名字 --
property
name yarn.resourcemanager.ha.rm-ids /name
value rm1,rm2 /value
/property
!-- 分別指定 RM 的地址 --
property
name yarn.resourcemanager.hostname.rm1 /name
value hadoop1 /value
/property
property
name yarn.resourcemanager.hostname.rm2 /name
value hadoop2 /value
/property
!-- 指定 zk 集群地址 --
property
name yarn.resourcemanager.zk-address /name
value hadoop3:2181,hadoop4:2181,hadoop5:2181 /value
/property
property
name yarn.nodemanager.aux-services /name
value mapreduce_shuffle /value
/property
/configuration2.2.6 修改 slaves
slaves 是指定子節點的位置，hadoop1 上的 slaves 文件指定的是 datanode 和 nodemanager 的位置
hadoop3
hadoop4
hadoop52.2.7 配置免密碼登陸
# 首先要配置 hadoop1 到 hadoop2、hadoop3、hadoop4、hadoop5 的免密碼登陸
#在 hadoop1 上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其他節點，包括自己
ssh-coyp-id hadoop1
ssh-coyp-id hadoop2
ssh-coyp-id hadoop3
ssh-coyp-id hadoop4
ssh-coyp-id hadoop5
#注意：兩個 namenode 之間要配置 ssh 免密碼登陸，別忘了配置 hadoop2 到 hadoop1 的免登陸
在 hadoop2 上生產一對鑰匙
ssh-keygen -t rsa
ssh-coyp-id -i hadoop12.3 將配置好的 hadoop 拷貝到其他節點
scp -r /home/habse/hadoop-2.7.2/ root@hadoop2:/home/habse/
scp -r /home/habse/hadoop-2.7.2/ root@hadoop3:/home/habse /
scp -r /home/habse/hadoop-2.7.2/ root@hadoop4:/home/habse /
scp -r /home/habse/hadoop-2.7.2/ root@hadoop5:/home/habse /3. 第一次啟動 3.1 啟動 zookeeper 集群（分別在 hadoop3、hadoop4、hadoop5 上啟動 zk）
cd /home/hbase/zookeeper-3.4.9/bin/
./zkServer.sh start
#查看狀態：一個 leader，兩個 follower
./zkServer.sh status3.2 啟動 journalnode（分別在在 hadoop3、hadoop4、hadoop5 上執行）
cd /home/habse/hadoop-2.7.2
sbin/hadoop-daemon.sh start journalnode
#運行 jps 命令檢驗，hadoop3、hadoop4、hadoop5 上多了 JournalNode 進程 3.3 格式化 HDFS
# 在 hadoop1 上執行命令:
hdfs namenode -format
hdfs namenode -bootstrapStandby3.4 格式化 ZK(在 hadoop1 上執行即可)
hdfs zkfc -formatZK3.5 啟動 HDFS(在 hadoop1 上執行)
sbin/start-dfs.sh注意：
如果啟動 datanode 時遇到找不到 datanode 所在的主機，首先檢查 slaves 文件配置是否正確，如果沒問題的話刪除重新創建
3.6 啟動 YARN(hadoop1 上執行)
sbin/start-yarn.sh查看每臺機器的進程：
到此，hadoop-2.7.2 配置完畢，可以統計瀏覽器訪問:
http://192.168.111.143:50070
NameNode hadoop1:9000 (active)
http://192.168.111.144:50070
NameNode hadoop2:9000 (standby)
Datanode：
所以 hadoop 集群安裝完成后首先啟動 zookeeper 和 journalnode，然后格式化 HDFS 和 ZKFC，然后啟動 namenode，resourcemanager，datanode
4. startup 與 shutdown4.1 Hadoop Startup
1. ./zkServer.sh start(hadoop3、hadoop4、hadoop5)
2. ./hadoop-daemon.sh start journalnode(hadoop3、hadoop4、hadoop5)
3. hdfs zkfc -formatZK(hadoop1)
4. hdfs namenode -bootstrapStandby(hadoop2)
5. hdfs zkfc -formatZK(hadoop1)
6. ./start-dfs.sh (hadoop1)
7. ./start-yarn.sh(hadoop1)
8. 如果哪個進程沒有啟動，那么單獨在那臺機器上執行啟動命令
9. ./yarn –daemon start proxyserver
10. ./mapred –daemon start historyserver
說明：
格式化工作僅在第一次啟動 hadoop 之前完成 (步驟 2,3,4,5)，以后不用，如果以后啟動過程中有問題可以重新格式化
單獨啟動 resourcemanager：./yarn-daemon.sh start resourcemanager
單獨啟動 namnode：./hadoop-daemon.sh start namenode
單獨啟動 zkfc：./yarn-daemon.sh start zkfc
4.2 Hadoop shutdown
1. ./stop-dfs.sh
2. ./stop-yarn.sh
3. ./yarn –daemon stop proxyserver
4. ./mapred –daemon stop historyserver
5. 主備切換測試
殺掉當前狀態為 active 的 hadoop1 的 namenode 進程，可以看到 hadoop2 由 standby 變為 active，再啟動 hadoop1 的 namenode 則發現 hadoop1 的狀態為 standby
關于“hadoop2.7.2 集群如何搭建”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
