共計 2739 個字符，預計需要花費 7 分鐘才能閱讀完成。
這篇文章將為大家詳細講解有關 Hadoop2.6.0 上的 spark1.5.2 集群如何搭建，丸趣 TV 小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
一、Spark 安裝前提
安裝 Spark 之前需要先安裝 Hadoop 集群，因為之前已經安裝了 hadoop，所以我直接在之前的 hadoop 集群上安裝 spark，但是因為機器內存不夠，我只選擇 master 以及 slave01 安裝 spark 集群，而不要 slave02 了。
二、Spark 安裝步驟：
1. 下載 scala-2.11.7.tgz
http://www.scala-lang.org/download/2.11.7.html
2. 下載 spark-1.5.2-bin-hadoop2.6.tgz(之前安裝的 hadoop 是 2.6.0 的)
http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
3. 安裝 Scala（在 master 上）：
mkdir /application/scala
cp /root/scala-2.11.7.tgz /application/scala/
cd /application/scala/
tar -zxvf scala-2.11.7.tgz
創建軟鏈接：
ln -s /application/scala/scala-2.11.7 /application/scala/scala
修改環境變量，添加 SCALA_HOME，并修改 PATH 即可：
vi /etc/profile.d/java.sh
export SCALA_HOME=/application/scala/scala-2.11.7
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH
使配置立即生效：
source /etc/profile
驗證是否安裝成功
scala –version
顯示如下：
4. 將 /application/scala 從 master 復制到另外一臺機器 slave01 上。
scp -r /application/scala root@slave01:/application/
5. 將 /etc/profile.d/java.sh 也復制到 slave01 上。
再在 slave01 上進行以下命令操作，使配置生效：
source /etc/profile
6. 安裝 Spark（在 master 上）：
mkdir /application/spark
cp /root/spark-1.5.2-bin-hadoop2.6.tgz /application/spark/
tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz
修改環境變量：將 SPARK_HOME 添加進去，并修改 PATH 即可。
vi /etc/profile.d/java.sh
export SPARK_HOME=/application/spark/spark-1.5.2-bin-hadoop2.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH
是配置立即生效：
source /etc/profile
7. 修改配置文件
7.1 修改 spark-env.sh 配置文件：
cd /application/spark/spark-1.5.2-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
在后面追加
###jdk dir
export JAVA_HOME=/usr/local/jdk
###scala dir
export SCALA_HOME=/application/scala/scala
###the ip of master node of spark
export SPARK_MASTER_IP=192.168.10.1
###the max memory size of worker
export SPARK_WORKER_MEMORY=512m
###hadoop configuration file dir
export HADOOP_CONF_DIR=/application/hadoop/hadoop/etc/hadoop
7.2 修改 slaves 文件
cp slaves.template slaves
vi slaves
添加如下（可能有默認 localhost，將其改成 master）：
master
slave01
8. 將 /application/spark 以及環境變量的配置文件復制到 slave01，并通過 source 命令將文件立即生效
scp -r /application/spark root@slave01:/application/
scp -r /etc/profile.d/java.sh root@slave01:/etc/profile.d/java.sh
修改所屬組和用戶
chown -R hadoop:hadoop /application/spark
9. 到此 Spark 集群搭建完畢。
10. 啟動 Spark 集群：
啟動 Spark 之前需要先將 hadoop 的 dfs 以及 yarn 啟動。
/application/spark/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh
啟動所有服務之后，在命令行輸入 jps，顯示如下：
比 hadoop 集群啟動時多了 Master 和 worker
輸入如下命令
/application/spark/spark-1.5.2-bin-hadoop2.6/bin/spark-shell.sh
出現 scala 時說明成功。
在瀏覽器中輸入 192.168.10.1:8080 時，會看到如下圖，有兩個 Worker
在瀏覽器中輸入 192.168.10.1:4040
出現如圖：
三、運行實例 wordcount 實例：
scala var textcount=sc.textFile(hdfs://master:9000/data/words2).filter(line= line.contains( haha)).count()
顯示結果如下：
關于“Hadoop2.6.0 上的 spark1.5.2 集群如何搭建”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
