共計(jì) 2809 個(gè)字符，預(yù)計(jì)需要花費(fèi) 8 分鐘才能閱讀完成。

這篇文章主要為大家展示了“hadoop2.7+Spark1.4 環(huán)境如何搭建”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓丸趣 TV 小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop2.7+Spark1.4 環(huán)境如何搭建”這篇文章吧。

一、hadoop 偽分布式搭建

  其實(shí)官網(wǎng)有比較詳實(shí)的說明，英語好的可以直接看官網(wǎng)，地址

 1、安裝 JDK1.7

  這個(gè)省略，官網(wǎng)顯示 1.6 可以，但是我用 openjdk1.6 出了異常，JDK1.6 沒試，直接用了 JDK1.7

        配置好環(huán)境變量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_79
export CLASSPATH=.:$JAVE_HOME/lib.tools.jar
export PATH=$PATH:$JAVA_HOME/bin

    添加完后執(zhí)行命令使配置生效

source /etc/profile

    2、安裝 ssh、rsync,（以 ubuntu 為例）

 $ sudo apt-get install ssh
 $ sudo apt-get install rsync

 3、下載 hadoop 編譯包，鏡像地址（國內(nèi)鏡像竟然比 US 的還慢，不能忍，注意 2.7 的編譯包為 64 位）

  查是 32 還是 64 位的辦法

cd hadoop-2.7.0/lib/native
file libhadoop.so.1.0.0

hadoop-2.7.0/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, AMD x86-64, version 1 (SYSV), not stripped

    4、配置環(huán)境變量

 hadoop 配置文件指定 java 路徑

 etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_79

  系統(tǒng)環(huán)境變量

export HADOOP_HOME=/usr/local/hadoop-2.7.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS= -Djava.library.path=$HADOOP_HOME/lib

  后兩條不加會(huì)出現(xiàn)

You have loaded library /usr/hadoop/hadoop-2.7.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.

It s highly recommended that you fix the library with execstack -c libfile , or link it with -z noexecstack .

  添加完后執(zhí)行命令使配置生效

source /etc/profile

  執(zhí)行命令查看是否成功

hadoop version

    5、修改 hadoop 配置文件  

     etc/hadoop/core-site.xml:

configuration 
  property 
  name fs.defaultFS /name 
  value hdfs://localhost:9000 /value 
  /property 
 /configuration

     etc/hadoop/hdfs-site.xml:

configuration 
  property 
  name dfs.replication /name 
  value 1 /value 
  /property 
 /configuration

     6、設(shè)置 hadoop ssh 無密碼訪問

 $ ssh-keygen -t dsa -P   -f ~/.ssh/id_dsa
 $ cat ~/.ssh/id_dsa.pub   ~/.ssh/authorized_keys
 $ export HADOOP\_PREFIX=/usr/local/hadoop-2.7.0

    7、格式化節(jié)點(diǎn)和啟動(dòng) hadoop

$ bin/hdfs namenode -format
$ sbin/start-dfs.sh

    打開瀏覽器  http://localhost:50070/ 看是否成功

    hdfs 配置：username 最好和當(dāng)前用戶名相同，不然會(huì)可能出現(xiàn)權(quán)限問題

 $ bin/hdfs dfs -mkdir /user
 $ bin/hdfs dfs -mkdir /user/ username

     8、yarn 配置

     etc/hadoop/mapred-site.xml:

configuration 
  property 
  name mapreduce.framework.name /name 
  value yarn /value 
  /property 
 /configuration

    etc/hadoop/yarn-site.xml:

configuration 
  property 
  name yarn.nodemanager.aux-services /name 
  value mapreduce_shuffle /value 
  /property 
 /configuration

    啟動(dòng) yarn

$ sbin/start-yarn.sh

   http://localhost:8088/ 查看是否成功

    至此 hadoop 單節(jié)點(diǎn)偽分布式安裝配置完成

二、spark 安裝配置

spark 的安裝相對(duì)就要簡(jiǎn)單多了

1、首先下載，地址

因?yàn)槲抑耙呀?jīng)有 hadoop 了所以選擇第二個(gè)下載

2、下載解壓后進(jìn)入目錄

cd conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
vi conf/spark-env.sh

最后添加

export HADOOP_HOME=/usr/local/hadoop-2.7.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

最后一個(gè)需要 hadoop 添加了環(huán)境變量才行。

官網(wǎng)配置中沒有前兩個(gè)配置，我運(yùn)行例子時(shí)總報(bào)錯(cuò)，找不到 hdfs jar 包。

3、回到解壓目錄運(yùn)行示例

./bin/run-example SparkPi 10

成功則到此配置完成

以上是“hadoop2.7+Spark1.4 環(huán)境如何搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注丸趣 TV 行業(yè)資訊頻道！