共計(jì) 2222 個(gè)字符，預(yù)計(jì)需要花費(fèi) 6 分鐘才能閱讀完成。

這篇文章將為大家詳細(xì)講解有關(guān) windows eclipse 如何搭建 spark 開發(fā)環(huán)境，丸趣 TV 小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

1、Java 下 Spark 開發(fā)環(huán)境搭建

1.1、jdk 安裝

安裝 oracle 下的 jdk，我安裝的是 jdk 1.7，安裝完新建系統(tǒng)環(huán)境變量 JAVA_HOME，變量值為“C:\Program Files\Java\jdk1.7.0_79”，視自己安裝路勁而定。

同時(shí)在系統(tǒng)變量 Path 下添加 C:\Program Files\Java\jdk1.7.0_79\bin 和 C:\Program Files\Java\jre7\bin。

1.2 spark 環(huán)境變量配置

去 http://spark.apache.org/downloads.html 網(wǎng)站下載相應(yīng) hadoop 對(duì)應(yīng)的版本，我下載的是 spark-1.6.0-bin-hadoop2.6.tgz，spark 版本是 1.6，對(duì)應(yīng)的 hadoop 版本是 2.6

解壓下載的文件，假設(shè)解壓 目錄為：D:\spark-1.6.0-bin-hadoop2.6。將 D:\spark-1.6.0-bin-hadoop2.6\bin 添加到系統(tǒng) Path 變量，同時(shí)新建 SPARK_HOME 變量，變量值為：D:\spark-1.6.0-bin-hadoop2.6

1.3 hadoop 工具包安裝

spark 是基于 hadoop 之上的，運(yùn)行過程中會(huì)調(diào)用相關(guān) hadoop 庫，如果沒配置相關(guān) hadoop 運(yùn)行環(huán)境，會(huì)提示相關(guān)出錯(cuò)信息，雖然也不影響運(yùn)行，但是這里還是把 hadoop 相關(guān)庫也配置好吧。

1.3.1 去下載 hadoop 2.6，我下載的是 hadoop-2.6.0.tar.gz，

1.3.2 解壓下載的文件夾，將相關(guān)庫添加到系統(tǒng) Path 變量中：D:\hadoop-2.6.0\bin；同時(shí)新建 HADOOP_HOME 變量，變量值為：D:\hadoop-2.6.0，下載 winutils 的 windows 版本，將 winutils.exe 加入你的 hadoop-x.x.x/bin 下，把 hadoop.dll 放入從 C:/wondwos/system32 下面。

1.4 eclipse 環(huán)境

直接新建 java 工程，將 D:\spark-1.6.0-bin-hadoop2.6\lib 下的 spark-assembly-1.6.0-hadoop2.6.0.jar 添加到工程中就可以了。

2、Python 下 Spark 開發(fā)環(huán)境搭建

2.1 安裝 python, 并添加到系統(tǒng)變量 path 中：C:\Python27 和 C:\Python27\Scripts

2.2 重復(fù) 1.2 和 1.3 步驟

2.3 將 spark 目錄下的 pyspark 文件夾（D:\spark-1.6.0-bin-hadoop2.6\python\pyspark）復(fù)制到 python 安裝目錄 C:\Python27\Lib\site-packages 里

2.4 在 cmd 命令行下運(yùn)行 pip install py4j（首先得安裝了 pip）安裝相關(guān)庫。

注意：我們?cè)谂渲煤铆h(huán)境變量后，在 eclipse 里進(jìn)行編程，拿 python 為例，會(huì)報(bào)錯(cuò)：

File  test.py , line 10, in  module 
 conf=(SparkConf().setMaster(local).setAppName(a).setSparkHome(/home/dirk/spark-1.4.1-bin-hadoop2.6/bin))
 File  /home/dirk/spark-1.4.1-bin-hadoop2.6/python/pyspark/conf.py , line 104, in __init__
 SparkContext._ensure_initialized()
 File  /home/dirk/spark-1.4.1-bin-hadoop2.6/python/pyspark/context.py , line 229, in _ensure_initialized
 SparkContext._gateway = gateway or launch_gateway()
 File  /home/dirk/spark-1.4.1-bin-hadoop2.6/python/pyspark/java_gateway.py , line 48, in launch_gateway
 SPARK_HOME = os.environ[SPARK_HOME]
 File  /usr/lib/python2.7/UserDict.py , line 23, in __getitem__
 raise KeyError(key)
KeyError:  SPARK_HOME

這是因?yàn)?eclipse 并沒有獲取到配置的環(huán)境變量，我們可以通過

print os.getenv(SPARK_HOME)

檢驗(yàn)，這時(shí)候我們重啟電腦就可以了；如果不想重啟電腦，我們可以通過

os.environ [SPARK_HOME] = /home/dirk/spark-1.4.1-bin-hadoop2.6

手動(dòng)設(shè)置 SPARK_HOME，這樣我們的程序就可以正常運(yùn)行了。

關(guān)于“windows eclipse 如何搭建 spark 開發(fā)環(huán)境”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。