共計 9228 個字符，預計需要花費 24 分鐘才能閱讀完成。

這篇文章主要講解了“hadoop 環境如何部署”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著丸趣 TV 小編的思路慢慢深入，一起來研究和學習“hadoop 環境如何部署”吧！

準備工作

以下步驟要在所有節點上執行
1.1 修改 hostname
vi /etc/sysconfig/network
1.2 關閉 SELinux
查看 SELinux 狀態 getenforce
若 SELinux 沒有關閉，按照下述方式關閉
vi /etc/selinux/config
修改 SELinux=disabled。重啟生效，可以等后面都設置完了重啟主機
1.3 關閉防火墻
service iptables stop
chkconfig iptables off
chkconfig iptables –list
1.4 網絡配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
1.5 修改 host
127.0.0.1  localhost# 必須配置
# CDH Cluster
192.168.88.11  hadoop1
192.168.88.12  hadoop2
192.168.88.13  hadoop3
1.6 配置 hadoop1 到 hadoop2 免密登錄
1.7 所有節點配置 NTP 服務
集群中所有主機必須保持時間同步，如果時間相差較大會引起各種問題。具體思路如下：
master 節點作為 ntp 服務器與外界對時中心同步時間，隨后對所有 datanode 節點提供時間同步服務。所有 datanode 節點以 master 節點為基礎同步時間。
所有節點安裝相關組件：yum install ntp。
完成后，配置開機啟動：chkconfig ntpd on ,
檢查是否設置成功：chkconfig –list ntpd 其中 2 - 5 為 on 狀態就代表成功。
主節點配置
在配置之前，先使用 ntpdate 手動同步一下時間，免得本機與對時中心時間差距太大，使得 ntpd 不能正常同步。這里選用 65.55.56.206 作為對時中心, ntpdate -u 202.112.10.36
 vi /etc/ntp.conf

# For more information about this file, see the man pages
# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).
driftfile /var/lib/ntp/drift
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1
restrict -6 ::1
# Hosts on local network are less restricted.
# 允許內網其他機器同步時間
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
# 中國這邊最活躍的時間服務器 : http://www.pool.ntp.org/zone/cn
server 210.72.145.44 perfer  # 中國國家受時中心
server 202.112.10.36  # 1.cn.pool.ntp.org
server 59.124.196.83  # 0.asia.pool.ntp.org
#broadcast 192.168.1.255 autokey  # broadcast server
#broadcastclient  # broadcast client
#broadcast 224.0.1.1 autokey  # multicast server
#multicastclient 224.0.1.1  # multicast client
#manycastserver 239.255.254.254  # manycast server
#manycastclient 239.255.254.254 autokey # manycast client
# allow update time by the upper server
# 允許上層時間服務器主動修改本機時間
restrict 210.72.145.44 nomodify notrap noquery
restrict 202.112.10.36 nomodify notrap noquery
restrict 59.124.196.83 nomodify notrap noquery
# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available.
# 外部時間服務器不可用時，以本地時間作為時間服務
server  127.127.1.0  # local clock
fudge  127.127.1.0 stratum 10
# Enable public key cryptography.
#crypto
includefile /etc/ntp/crypto/pw
# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography.
keys /etc/ntp/keys
# Specify the key identifiers which are trusted.
#trustedkey 4 8 42
# Specify the key identifier to use with the ntpdc utility.
#requestkey 8
# Specify the key identifier to use with the ntpq utility.
#controlkey 8
# Enable writing of statistics records.
#statistics clockstats cryptostats loopstats peerstats

service ntpd start
 ntpstat
這個一般需要 5 -10 分鐘后才能成功連接和同步
[root@hadoop1 ~]# netstat -tlunp | grep ntp   
udp  0  0 192.168.88.11:123  0.0.0.0:*  17339/ntpd  ############################   
udp  0  0 127.0.0.1:123  0.0.0.0:*  17339/ntpd   
udp  0  0 0.0.0.0:123  0.0.0.0:*  17339/ntpd   
udp  0  0 fe80::20c:29ff:fe7c:123  :::*  17339/ntpd   
udp  0  0 ::1:123  :::*  17339/ntpd   
udp  0  0 :::123  :::*  17339/ntpd   
[root@hadoop1 ~]# ntpq -p
  remote  refid  st t when poll reach  delay  offset  jitter
==============================================================================
 202.118.1.130  .INIT.  16 u  –  64  0  0.000  0.000  0.000#################################
 # ntpstat

unsynchronised

  time server re-starting

  polling server every 64 s
  連接并同步后:
synchronised to NTP server (202.112.10.36) at stratum 3
time correct to within 275 ms
polling server every 256 s

# yum install ntp
# chkconfig ntp on
# vim /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
# 配置時間服務器為本地的時間服務器
server 192.168.1.135
restrict 192.168.1.135 nomodify notrap noquery
server  127.127.1.0  # local clock
fudge  127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
[root@hadoop2 soft]# ntpdate -u hadoop1

2.cloudra 安裝 所有節點
2.1 下載 cloudera-manager.repo  wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
1 將 cloudera-manager.repo 文件拷貝到所有節點的 /etc/yum.repos.d/ 文件夾下
mv cloudera-manager.repo /etc/yum.repos.d/
vi /etc/yum.conf
timeout=50000
yum list|grep cloudera
如果列出的不是你安裝的版本，執行下面命令重試
yum clean all
yum list | grep cloudera

2.2 下載 CDH 將之前下載的 Parcel 那 3 個文件拷貝到 /opt/cloudera/parcel-repo 目錄下（如果沒有該目錄，請自行創建）
wget http://archive-primary.cloudera.com/cdh6/parcels/5.2.1/CDH-5.2.1-1.cdh6.2.1.p0.12-el5.parcel
wget http://archive-primary.cloudera.com/cdh6/parcels/5.2.1/CDH-5.2.1-1.cdh6.2.1.p0.12-el5.parcel.sha1###.sha1 文件后綴更改為.sha，同時把內容只保留 hash 碼部分
wget http://archive-primary.cloudera.com/cdh6/parcels/5.2.1/manifest.json

2.4 在 master[hadoop1] 節點安裝 daemons、server、agent（先裝 daemons）
wget http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el5.x86_64.rpm
wget http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/cloudera-manager-server-5.2.1-1.cm521.p0.109.el5.x86_64.rpm
wget http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/cloudera-manager-agent-5.2.1-1.cm521.p0.109.el5.x86_64.rpm
yum –nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum –nogpgcheck localinstall cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum –nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent 安裝需要聯網）
2.5 在 slave-1[hadoop2]、slave-2[hadoop3] 節點安裝 daemons、agent（先裝 daemons）
wget http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el5.x86_64.rpm
wget http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/cloudera-manager-agent-5.2.1-1.cm521.p0.109.el5.x86_64.rpm
yum –nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum –nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent 安裝需要聯網）
2.6 在 master、slave-1、slave-2 節點安裝 JDK、oraclejdk
rpm -ivh jdk-6u31-linux-amd64.rpm

3. 在 master 節點安裝 mysql 數據庫，并配置 cdh 需要的數據庫選項
yum install mysql-server mysql mysql-devel
chkconfig mysqld on
service mysqld start
mysql –u root
use mysql
update user set password=password(1234) where user= root
update user set password=password(1234) where host= localhost
update user set password=password(1234) where host= hadoop1
service mysqld restart
mysql -u root -p1234
create database cloudera
4. 在 master 節點配置 cloudera manager 數據庫并啟動 cm 的 server 及 agent 程序
 1. 拷貝 mysql-connector-java-5.1.7-bin.jar 到 /usr/share/java 下并重命名 mysql-connector-java.jar
 2. 運行 /usr/share/cmf/schema/scm_prepare_database.sh -h hadoop1 mysql cloudera root 1234
 3. 啟動 cm server：service cloudera-scm-server start
 4. 添加 cm server 服務：chkconfig cloudera-scm-server on
 5. 啟動 cm agent：chkconfig cloudera-scm-agent on
 6. 添加 cm agent 服務：service cloudera-scm-server start

5、修改所有節點的 agent 配置文件
/etc/cloudera-scm-agent/config.ini 將配置文件中的 host 改成 cdh-master

6、在 slave 節點配置 cloudera manager  agent 程序
1. 啟動 cm agent：chkconfig cloudera-scm-agent on
2. 添加 cm agent 服務：service cloudera-scm-agent start
7、測試 agent 和 server 是否通信成功
  service cloudera-scm-server status
  service cloudera-scm-agent status
  netstat –anp | grep 7182
  # server 端開啟的是 7182 端口，用于和 agent 進行通訊
  啟動失敗時可以查看日志
  server 日志 /var/log/cloudera-scm-server

  agent 日志 /var/log/cloudera-scm-agent
 8 設置 parcel[master]
 mv CDH-5.2.1-1.cdh6.2.1.p0.12-el5.parcel /opt/cloudera/parcel-repo
 [root@hadoop1 parcel-repo]# tail -5 manifest.json
  replaces : IMPALA, SOLR, SPARK ,
  hash : 7dcb31e557a7da951bfb6337e02b0b884aa3d2a2\n
  }
  ]
[root@hadoop1 parcel-repo]# tail -1 CDH-5.2.1-1.cdh6.2.1.p0.12-el5.parcel.sha1
7dcb31e557a7da951bfb6337e02b0b884aa3d2a2\n
[root@hadoop1 parcel-repo]# mv CDH-5.2.1-1.cdh6.2.1.p0.12-el5.parcel.sha1 CDH-5.2.1-1.cdh6.2.1.p0.12-el5.parcel.sha
9.[root@hadoop1 soft]# rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm 所有節點

CDH 集群安裝
CM 安裝成功后瀏覽器輸入 http://ip:7180,ip 是 CM 安裝的主機 ip 或者主機名。顯示如下界面，用戶名和密碼都輸入 admin，進入 web 管理界面。
免費版 -〉繼續 - 查找并選擇需要安裝 CDH 的機器，點擊“繼續”192.168.88.[11-13]-
 

二、卸載步驟

記錄卸載過程和問題。現有環境 Cloudera Manager + (1 + 2) 的 CDH 環境。
1、先在 Manage 管理端移除所有服務。
2、刪除 Manager Server
在 Manager 節點運行
 /usr/share/cmf/uninstall-cloudera-manager.sh 如果沒有該腳本，則可以手動刪除，先停止服務：
 service cloudera-scm-server stop
 service cloudera-scm-server-db stop 然后刪除：
 yum remove cloudera-manager-serversudo
 yum remove cloudera-manager-server-db3、刪除所有 CDH 節點上的 CDH 服務，先停止服務：
  service cloudera-scm-agent hard_stop 卸載安裝的軟件：
 yum remove cloudera-manager-* hadoop hue-common bigtop-* 4、刪除殘余數據：
  rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera*
  5、kill 掉所有 Manager 和 Hadoop 進程（選作，如果你正確停止 Cloud Manager 和所有服務則無須此步）

$ for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done6、刪除 Manager 的 lock 文件
在 Manager 節點運行：
rm /tmp/.scm_prepare_node.lock 至此，刪除完成。
/var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log
http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/
獲取鎖 卸載裝
Couldn t resolve host archive.cloudera.com dns8.8.8.8
注意主機名要與 host 一致，若不一致就刪掉，重新搜索
正在搜索要重新卸載，再安裝
[root@h02 soft]# service cloudera-scm-agent status
cloudera-scm-agent dead but pid file exists
[root@client ~]# cd /var/run
[root@client ~]# rm –f cloudera-scm-agent.pid
在日志中發現這樣一條錯誤信息：
ERROR ENGINE Error in HTTP server: shutting down Traceback (most recent call last)

IOError: [Errno 2] No such file or directory: /var/lib/cloudera-scm-agent/uuid
[root@h02 cloudera-scm-agent]# mkdir /var/lib/cloudera-scm-agent/
[root@h02 cloudera-scm-agent]# chmod 777 /var/lib/cloudera-scm-agent/

感謝各位的閱讀，以上就是“hadoop 環境如何部署”的內容了，經過本文的學習后，相信大家對 hadoop 環境如何部署這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是丸趣 TV，丸趣 TV 小編將為大家推送更多相關知識點的文章，歡迎關注！