Hadoop如何實(shí)現(xiàn)單節(jié)點(diǎn)搭建

176次閱讀

共計(jì) 5176 個字符，預(yù)計(jì)需要花費(fèi) 13 分鐘才能閱讀完成。

這篇文章主要為大家展示了“Hadoop 如何實(shí)現(xiàn)單節(jié)點(diǎn)搭建”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓丸趣 TV 小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Hadoop 如何實(shí)現(xiàn)單節(jié)點(diǎn)搭建”這篇文章吧。

#Hadoop 單節(jié)點(diǎn)搭建

環(huán)境：VirtualBox Unbuntu14.04 LTS

## 安裝 JDK ##### 查看當(dāng)前 java 版本 java -version ##### 更新最新的軟件包信息 sudo apt-get updata ##### 安裝 JDK sudo apt-get install default-jdk ##### 再查看 java 版本 java -version ## 安裝 SSH #####sudo apt-get install ssh ## 安裝 rsync sudo apt-get install rsync

配置 ssh

ssh-keygen -t dsa -p   -f ~/.ssh/id_dsa #  產(chǎn)生密鑰
ll ~/.ssh #  查看是否存在  id_dsa.pub 文件
cat ~/.ssh/id_dsa.pub   ~/.ssh/authorized_keys #  將公鑰添加到許可證文件中

## 安裝 Hadoop #### 首先保證虛擬機(jī)可以鏈接網(wǎng)絡(luò) 可以將虛擬機(jī)改為網(wǎng)絡(luò)地址轉(zhuǎn)換 NAT #####Hadoop 官網(wǎng) https://archive.apache.org/dist/hadoop/common ##### 選擇 2.6.0 的話復(fù)制該文件的鏈接使用 wget 命令下載 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz ##### 解壓 sudo tar -zxvf hadoop-2.6.0.tar.gz ##### 移動到指定路徑 sudo mv hadoop-2.6.0 /usr/local/hadoop ##### 查看文件是否完整 #### 設(shè)置環(huán)境變量 sudo gedit ~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 #java 路徑 export HADOOP_HOME=/usr/local/hadoop #hadoop 路徑 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native #鏈接庫 export HADOOP_OPTS= -Djava.library.path=$HADOOP_HOME/lib #鏈接庫 export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH ###### 使環(huán)境變量生效重啟或輸入 source ~/.bashrc #### 修改 hadoop 配置文件 ##### 修改 hadoop-env.sh sudo gedit hadoop-env.sh

# The java implementation to use.
 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

##### 修改 core-site.xml sudo gedit core-site.xml

configuration 
 property 
 name fs.default.name /name 
 value hdfs://localhost:9000 /value 
 /property 
 /configuration

##### 修改 yarn-site.xml sudo gedit yarn-site.xml

configuration 
 !-- Site specific YARN configuration properties -- 
 property 
 name yarn.nodemanager.aux-services /name 
 value mapreduce_shuffle /value 
 /property 
 property 
 name yarn.nodemanager.aux-services.mapreduce.shuffle.class /name 
 value org.apache.hadoop.mapred.ShuffleHandler /value 
 /property 
 /configuration

##### 修改 mapred-site.xml sudo scp mapred-site.xml.template mapred-site.xml sudo gedit mapred-site.xml

configuration 
 property 
 name mapreduce.framework.name /name 
 value yarn /value 
 /property 
 /configuration

##### 修改 hdfs-site.xml sudo gedit hdfs-site.xml

configuration 
 property 
 name dfs.replication /name 
 value 3 /value 
 /property 
 property 
 name dfs.namenode.name.dir /name 
 value file:/usr/local/hadoop/hadoop_data/hdfs/namenode /value 
 /property 
 property 
 name dfs.datanode.data.dir /name 
 value file:/usr/local/hadoop/hadoop_data/hdfs/datanode /value 
 /property 
 /configuration

#### 創(chuàng)建相應(yīng)的目錄 sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode # NameNode 存儲目錄 sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode # DataNode 存儲目錄 sudo chown hduser:hduser -R /usr/local/hadoop # 修改目錄所有者 #### 格式化 namenode hadoop namenode -format #### 啟動 hadoop start-dfs.sh start-yarn.sh #### 查看

在瀏覽器中輸入 http://localhost:8088 查看 Hadoop ResourceManager Web 界面

 點(diǎn)擊 Nodes  查看當(dāng)前節(jié)點(diǎn)

##### 在瀏覽器中輸入 http://localhost:50070 查看 NameNode HDFS Web 界面點(diǎn)擊 Datanodes 顯示當(dāng)前啟動的 Datanode

## 全部命令參考

 1 cd /usr/local/
  2 ll
  3 rm -rf hadoop/
  4 sudo rm -rf hadoop/
  5 ll
  6 update-alternatives --display java
  7 java -version
  8 sudo apt-get update
  9 sudo apt-get install default-jdk
  10 java -version
  11 update-alternatives --display java #  查看 java 安裝路徑
  12 sudo apt-get install ssh
  13 sudo apt-get install rsync
  14 ssh-keygen -t dsa -P   -f ~/.ssh/id_dsa
  15 ll ~/.ssh
  16 cat ~/.ssh/id_dsa.pub   ~/.ssh/authorized_keys
  17 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
  18 ll
  19 sudo tar -zxvf hadoop-2.6.0.tar.gz 
  20 sudo mv hadoop-2.6.0 /usr/local/hadoop
  21 ll /usr/local/hadoop
  22 ll
  23 cd /usr/local
  24 ls
  25 cd hadoop/
  26 ll
  27 cd /
  28 cd
  29 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz.md5
  30 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz.mds
  31 ll
  32 ./hadoop-2.6.0.tar.gz.mds
  33 sudo ./hadoop-2.6.0.tar.gz.mds
  34 cd /usr/local/hadoop/
  35 ll
  36 cd ~
  37 ll
  38 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz.md5
  39 ll
  40 md5sum -c hadoop-2.6.0.tar.gz.md5 # 檢查下載的文件是否完整
  41 md5sum -c hadoop-2.6.0.tar.gz.mds
  42 md5sum -c hadoop-2.6.0.tar.gz.md5
  43 rm -f hadoop-2.6.0.tar.gz
  44 rm -f hadoop-2.6.0.tar.gz.1
  45 rm -f hadoop-2.6.0.tar.gz.mds 
  46 ll
  47 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
  48 sudo tar -zxvf hadoop-2.6.0.tar.gz 
  49 sudo mv hadoop-2.6.0 /usr/local/hadoop
  50 ll /usr/local/
  51 cd hadoop
  52 ll /usr/local/hadoop/
  53 md5sum -c hadoop-2.6.0.tar.gz.md5 
  54 sudo gedit ~/.bashrc
  55 source ~/.bashrc
  56 cd /usr/local/hadoop/etc/hadoop/
  57 ll
  58 sudo gedit hadoop-env.sh 
  59 sudo gedit core-site.xml 
  60 sudo gedit yarn-site.xml 
  61 sudo scp mapred-site.xml.template mapred-site.xml
  62 sudo gedit mapred-site.xml
  63 sudo gedit hdfs-site.xml 
  64 sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
  65 sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
  66 sudo chown hduser:hduser -R /usr/local/hadoop
  67 hadoop namenode -format
  68 start-dfs.sh
  69 start-yarn.sh
  70 jps
  71 history

以上是“Hadoop 如何實(shí)現(xiàn)單節(jié)點(diǎn)搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注丸趣 TV 行業(yè)資訊頻道！

正文完