共計 817 個字符,預計需要花費 3 分鐘才能閱讀完成。
這篇文章主要為大家展示了“Hadoop 怎么實現集群搭建”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓丸趣 TV 小編帶領大家一起研究并學習一下“Hadoop 怎么實現集群搭建”這篇文章吧。
主要環境:
CentOS6.4
JDK 1.6
Hadoop 1.2.1
使用三臺機器進行搭建。
Master(NameNode、SecondaryNameNode、JobTracker):10.0.0.13
Slave(DataNode、TaskTracker):10.0.0.15
Slave(DataNode、TaskTracker):10.0.0.16
1. 三臺機器都配置 /etc/hosts 文件
2. 配置 ssh 免密碼連接,在每臺機器上均運行 ssh-keygen -t rsa , 之后將每臺機器生成的
id_rsa.pub 合并為 authorized_keys, 并復制到每臺機器上
3. 配置 hadoop 目錄下的 conf/hadoop-env.sh 中的 java 環境變量
4. 修改 hdfs-site.xml 修改 hdfs 中數據塊要復制多少份
5. 修改 mapred-site.xml 配置 jobtracker
6. 修改 core-site.xml 指定數據目錄(使用 mkdir 創建 /usr/hadoop/tmp 目錄)
7. 修改 masters 和 slaves
8. 使用 scp 命令將 hadoop 目錄復制到各個節點
9. 并在每個節點配置 hadoop 環境變量(編輯 /etc/profile 立即生效 source /etc/profile)
10. 格式化
11. 啟動 hadoop 運行 start-all.sh
12. 最后使用 jps 驗證是否啟動相應 java 進程
Master:
Slave:
以上是“Hadoop 怎么實現集群搭建”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注丸趣 TV 行業資訊頻道!