共計 4785 個字符，預計需要花費 12 分鐘才能閱讀完成。
本篇內(nèi)容主要講解“如何搭建 ubuntu 版 hadoop 集群”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓丸趣 TV 小編來帶大家學習“如何搭建 ubuntu 版 hadoop 集群”吧!
用到的工具：vmware、hadoop-2.7.2.tar、jdk-8u65-linux-x64.tar、ubuntu-16.04-desktop-amd64.iso
1、 在 vmware 上安裝 ubuntu-16.04-desktop-amd64.iso
單擊“創(chuàng)建虛擬機”è選擇“典型（推薦安裝）”è單擊“下一步”
è點擊完成
修改 /etc/hostname
vim hostname
保存退出
修改 etc/hosts
127.0.0.1 localhost
192.168.1.100 s100
192.168.1.101 s101
192.168.1.102 s102
192.168.1.103 s103
192.168.1.104 s104
192.168.1.105 s105配置 nat 網(wǎng)絡
查看 window10 下的 ip 地址及網(wǎng)關(guān)
配置 /etc/network/interfaces
#interfaces(5) file used by ifup(8) and ifdown(8)
#the loopback network interface
auto lo
iface lo inet loopback
#iface eth0 inet static
iface eth0 inet static
address 192.168.1.105
netmask 255.255.255.0
gateway 192.168.1.2
dns-nameservers 192.168.1.2
auto eth0也可以通過圖形化界面配置
配置好后執(zhí)行 ping www.baidu.com 看網(wǎng)絡是不是已經(jīng)起作用
當網(wǎng)絡通了之后，要想客戶機宿主機之前進行 ping 通，只需要做以下配置
修改宿主機 c:\windows\system32\drivers\etc\hosts 文件
文件內(nèi)容
127.0.0.1 localhost
192.168.1.100 s100
192.168.1.101 s101
192.168.1.102 s102
192.168.1.103 s103
192.168.1.104 s104
192.168.1.105 s105安裝 ubuntu 163 14.04 源
$ cd /etc/apt/
$ gedit sources.list切記在配置之前做好備份
deb http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse更新
$ apt-get update在家根目錄下新建 soft 文件夾 mkdir soft
但是建立完成后，該文件屬于 root 用戶，修改權(quán)限 chown enmoedu:enmoedu soft/
安裝共享文件夾
將該文件放到桌面，右鍵，點擊“extract here”
切換到 enmoedu 用戶的家目錄，cd /desktop/vmware-tools-distrib
執(zhí)行./vmware-install.pl 文件
enter 鍵執(zhí)行
安裝完成
拷貝 hadoop-2.7.2.tar、jdk-8u65-linux-x64.tar 到 enmoedu 家目錄下的 /downloads
$ sudo cp hadoop-2.7.2.tar.gz jdk-8u65-linux-x64.tar.gz ~/downloads/分別解壓 hadoop-2.7.2.tar、jdk-8u65-linux-x64.tar 到當前目錄
$ tar -zxvf hadoop-2.7.2.tar.gz
$ tar -zxvf jdk-8u65-linux-x64.tar.gz
$ cp -r hadoop-2.7.2 /soft
$ cp -r jdk1.8.0_65/ /soft建立鏈接文件
$ ln -s hadoop-2.7.2/ hadoop
$ ln -s jdk1.8.0_65/ jdk
$ ls -ll配置環(huán)境變量
$ vim /etc/environmentjava_home=/soft/jdk
hadoop_home=/soft/hadoop
path= /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk/bin:/soft/hadoop/bin:/soft/hadoop/sbin讓環(huán)境變量生效
$ source environment檢驗安裝是否成功
$ java –version$ hadoop version配置 /soft/hadoop/etc/hadoop/ 下的配置文件
[core-site.xml]
configuration
property
name fs.defaultfs /name
value hdfs://s100/ /value
/property
property
name hadoop.tmp.dir /name
value /home/enmoedu/hadoop /value
/property
/configuration[hdfs-site.xml]
configuration
property
name dfs.replication /name
value 3 /value
/property
property
name dfs.namenode.secondary.http-address /name
value s104:50090 /value
description
the secondary namenode http server address and port.
/description
/property
/configuration[mapred-site.xml]
configuration
property
name mapreduce.framework.name /name
value yarn /value
/property
/configuration[yarn-site.xml]
configuration
property
name yarn.resourcemanager.hostname /name
value s100 /value
/property
property
name yarn.nodemanager.aux-services /name
value mapreduce_shuffle /value
/property
/configuration配置 ssh 無密碼登錄
安裝 ssh
$ sudo apt-get install ssh生成秘鑰對
在 enmoedu 家目錄下執(zhí)行
$ ssh-keygen -t rsa -p -f ~/.ssh/id_rsa導入公鑰數(shù)據(jù)到授權(quán)庫中
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys測試 localhost 成功后，將 master 節(jié)點上的供鑰拷貝到授權(quán)庫中
其中 root 一樣執(zhí)行即可
$ ssh localhost從 master 節(jié)點上測試是否成功。
修改 slaves 文件
[/soft/hadoop/etc/hadoop/slaves]
s101
s105其余機器，通過克隆，修改 hostname 和網(wǎng)絡配置即可
塔建完成后
格式化 hdfs 文件系統(tǒng)
$ hadoop namenode –format啟動所有進程
start-all.sh自定義腳本 xsync(在集群中分發(fā)文件)
[/usr/local/bin]
循環(huán)復制文件到所有節(jié)點的相同目錄下。
[usr/local/bin/xsync]
#!/bin/bash
pcount=$#
if (( pcount 1 ));then
echo no args;
exit;
p1=$1;
fname=`basename $p1`
#echo $fname=$fname;
pdir=`cd -p $(dirname $p1) ; pwd`
#echo pdir=$pdir
cuser=`whoami`
for (( host=101;host host=host+1 )); do
echo ------------s$host----------------
rsync -rvl $pdir/$fname $cuser@s$host:$pdir
done測試
xsync hello.txt
自定義腳本 xcall(在所有主機上執(zhí)行相同的命令)
[usr/local/bin]
#!/bin/bash
pcount=$#
if (( pcount 1 ));then
echo no args;
exit;
echo -----------localhost----------------
for (( host=101;host host=host+1 )); do
echo ------------s$host-------------
ssh s$host $@
done測試 xcall rm –rf hello.txt
集群搭建完成后，測試次運行以下命令
touch a.txt
gedit a.txt
hadoop fs -mkdir -p /user/enmoedu/data
hadoop fs -put a.txt /user/enmoedu/data
hadoop fs -lsr /也可以進入瀏覽器查看
到此，相信大家對“如何搭建 ubuntu 版 hadoop 集群”有了更深的了解，不妨來實際操作一番吧！這里是丸趣 TV 網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學習！
