Hadoop2.4.1如何實現偽分布式搭建

168次閱讀

共計 3122 個字符，預計需要花費 8 分鐘才能閱讀完成。

丸趣 TV 小編給大家分享一下 Hadoop2.4.1 如何實現偽分布式搭建，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

1. 準備 Linux 環境
1.0 點擊 VMware 快捷方式，右鍵打開文件所在位置 – 雙擊 vmnetcfg.exe – VMnet1 host-only – 修改 subnet ip 設置網段：192.168.1.0 子網掩碼：255.255.255.0 – apply – ok
回到 windows — 打開網絡和共享中心 – 更改適配器設置 – 右鍵 VMnet1 – 屬性 – 雙擊 IPv4 – 設置 windows 的 IP：192.168.1.100 子網掩碼：255.255.255.0 – 點擊確定
在虛擬軟件上 –My Computer – 選中虛擬機 – 右鍵 – settings – network adapter – host only – ok
1.1 修改主機名
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=itcast ###

1.2 修改 IP
兩種方式：
第一種：通過 Linux 圖形界面進行修改（強烈推薦）
進入 Linux 圖形界面 – 右鍵點擊右上方的兩個小電腦 – 點擊 Edit connections – 選中當前網絡 System eth0 – 點擊 edit 按鈕 – 選擇 IPv4 – method 選擇為 manual – 點擊 add 按鈕 – 添加 IP：192.168.1.101 子網掩碼：255.255.255.0 網關：192.168.1.1 – apply

第二種：修改配置文件方式（屌絲程序猿專用）
vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE= eth0
BOOTPROTO= static ###
HWADDR= 00:0C:29:3C:BF:E7
IPV6INIT= yes
NM_CONTROLLED= yes
ONBOOT= yes
TYPE= Ethernet
UUID= ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c
IPADDR= 192.168.1.101 ###
NETMASK= 255.255.255.0 ###
GATEWAY= 192.168.1.1 ###

1.3 修改主機名和 IP 的映射關系
vim /etc/hosts

192.168.1.101 itcast

1.4 關閉防火墻
# 查看防火墻狀態
service iptables status
# 關閉防火墻
service iptables stop
# 查看防火墻開機啟動狀態
chkconfig iptables –list
# 關閉防火墻開機啟動
chkconfig iptables off

1.5 重啟 Linux
reboot

2. 安裝 JDK
2.1 上傳

2.2 解壓 jdk
# 創建文件夾
mkdir /usr/java
# 解壓
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

2.3 將 java 添加到環境變量中
vim /etc/profile
# 在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_5
export PATH=$PATH:$JAVA_HOME/bin

# 刷新配置
source /etc/profil

3. 安裝 hadoop2.4.1(itcast01 是主機名)
注意：hadoop2.x 的配置文件 $HADOOP_HOME/etc/hadoop
偽分布式需要修改 5 個配置文件
3.1 配置 hadoop
第一個：hadoop-env.sh
vim hadoop-env.sh
# 第 27 行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二個：core-site.xml
!– 制定 HDFS 的老大 vim（NameNode）的地址 —
property
name fs.defaultFS /name
value hdfs://itcast01:9000 /value
/property
!– 指定 hadoop 運行時產生文件的存儲目錄 —
property
name hadoop.tmp.dir /name
value /itcast/hadoop-2.4.1/tmp /value
/property

第三個：hdfs-site.xml
!– 指定 HDFS 副本的數量 —
property
name dfs.replication /name
value 1 /value
/property

第四個：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
!– 指定 mr 運行在 yarn 上 —
property
name mapreduce.framework.name /name
value yarn /value
/property

第五個：yarn-site.xml
!– 指定 YARN 的老大（ResourceManager）的地址 —
property
name yarn.resourcemanager.hostname /name
value itcast01 /value
/property
!– reducer 獲取數據的方式 —
property
name yarn.nodemanager.aux-services /name
value mapreduce_shuffle /value
/property

3.2 將 hadoop 添加到環境變量

vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3 格式化 namenode（是對 namenode 進行初始化）
hdfs namenode -format (hadoop namenode -format)

3.4 啟動 hadoop
先啟動 HDFS
sbin/start-dfs.sh

再啟動 YARN
sbin/start-yarn.sh

3.5 驗證是否啟動成功
使用 jps 命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.8.118:50070（HDFS 管理界面）
http://192.168.8.118:8088（MR 管理界面）

4. 配置 ssh 免登陸
# 生成 ssh 免登陸密鑰
# 進入到我的 home 目錄
cd ~/.ssh