久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

Hadoop怎么實現集群搭建

169次閱讀
沒有評論

共計 817 個字符,預計需要花費 3 分鐘才能閱讀完成。

這篇文章主要為大家展示了“Hadoop 怎么實現集群搭建”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓丸趣 TV 小編帶領大家一起研究并學習一下“Hadoop 怎么實現集群搭建”這篇文章吧。

主要環境:

 CentOS6.4

 JDK 1.6

 Hadoop 1.2.1

使用三臺機器進行搭建。

 Master(NameNode、SecondaryNameNode、JobTracker):10.0.0.13

 Slave(DataNode、TaskTracker):10.0.0.15

 Slave(DataNode、TaskTracker):10.0.0.16

1. 三臺機器都配置 /etc/hosts 文件

 

2. 配置 ssh 免密碼連接,在每臺機器上均運行 ssh-keygen -t rsa , 之后將每臺機器生成的

id_rsa.pub 合并為 authorized_keys, 并復制到每臺機器上  

 

 

3. 配置 hadoop 目錄下的 conf/hadoop-env.sh 中的 java 環境變量

 

4. 修改 hdfs-site.xml 修改 hdfs 中數據塊要復制多少份

 

5. 修改 mapred-site.xml 配置 jobtracker

 

6. 修改 core-site.xml 指定數據目錄(使用 mkdir 創建 /usr/hadoop/tmp 目錄)

 

7. 修改 masters 和 slaves

 

8. 使用 scp 命令將 hadoop 目錄復制到各個節點

9. 并在每個節點配置 hadoop 環境變量(編輯 /etc/profile 立即生效 source /etc/profile)

 

10. 格式化

 

11. 啟動 hadoop 運行 start-all.sh

 

12. 最后使用 jps 驗證是否啟動相應 java 進程

    Master:

 

    Slave:

 

以上是“Hadoop 怎么實現集群搭建”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注丸趣 TV 行業資訊頻道!

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-08-25發表,共計817字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 建湖县| 海林市| 汶上县| 琼海市| 鄂伦春自治旗| 阜平县| 西峡县| 岗巴县| 万州区| 枣阳市| 万年县| 调兵山市| 卢龙县| 巫溪县| 永定县| 子洲县| 驻马店市| 鄯善县| 嘉鱼县| 松潘县| 马鞍山市| 精河县| 东港市| 盐边县| 天峻县| 孟连| 安丘市| 资中县| 仁怀市| 康乐县| 青铜峡市| 皋兰县| 金川县| 中方县| 遂昌县| 通州区| 平塘县| 无为县| 舟曲县| 莒南县| 卢湾区|