共計 1875 個字符，預(yù)計需要花費 5 分鐘才能閱讀完成。
這篇文章主要為大家展示了“windows 下 spark 如何搭建”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓丸趣 TV 小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“windows 下 spark 如何搭建”這篇文章吧。
系統(tǒng)：windows x64
內(nèi)存：4G
spark 版本：spark-1.6.0-bin-hadoop2.6
JDK 版本：jdk1.7.0_031
spark 安裝步驟：
1.spark 安裝包，下載地址 https://spark.apache.org/downloads.html
2. 解壓下載好的安裝包，似乎路徑最好不要含空格（沒有試過含空格會怎么樣）
3. 環(huán)境變量中配置 SPARK_HOME，path 中指定到 SPARK_HOME 下的 bin 目錄。
4. 現(xiàn)在運行的是本地模式，可以不用安裝 hadoop，但是 windows 下需要配置 HADOOP_HOME，并在 HADOOP_HOME/bin 下放一個 winutils.exe 的文件，具體見 https://github.com/spring-projects/spring-hadoop/wiki/Using-a-Windows-client-together-with-a-Linux-cluster
5. 打開 CMD，試試 spark-shell 命令能否運行成功。
可能遇到問題 1：關(guān)于 xerces.jar 包的問題，可能是 jar 包沖突導(dǎo)致，最直接解決辦法：重新下載一個 jdk
可能遇到問題 2：spark-shell throws java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. 這個錯誤，似乎是 hive 的一個 BUG，具體可以見 https://issues.apache.org/jira/browse/SPARK-10528
配置 Eclipse 的 java 開發(fā)環(huán)境：
java 開發(fā) spark 程序是依賴一個 jar，位于 SPARK_HOME/lib/spark-assembly-1.6.0-hadoop2.6.0.jar, 直接導(dǎo)入 eclipse 即可，spark 運行只支持 1.6 以上 java 環(huán)
最后附上一個 WordCount 程序，是通過 hdfs 讀取和輸出的文件
SparkConf conf = new SparkConf().setAppName( WordCount).setMaster( local
JavaSparkContext context = new JavaSparkContext(conf);
JavaRDD String textFile = context.textFile( hdfs://192.168.1.201:8020/data/test/sequence/sequence_in/file1.txt
JavaRDD String words = textFile.flatMap(new FlatMapFunction String, String () { public Iterable String call(String s) {return Arrays.asList(s.split( ));}
JavaPairRDD String, Integer pairs = words.mapToPair(new PairFunction String, String, Integer () { public Tuple2 String, Integer call(String s) { return new Tuple2 String, Integer (s, 1); }
JavaPairRDD String, Integer counts = pairs.reduceByKey(new Function2 Integer, Integer, Integer () { public Integer call(Integer a, Integer b) { return a + b; }
counts.saveAsTextFile(hdfs://192.168.1.201:8020/data/test/sequence/sequence_out/以上是“windows 下 spark 如何搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注丸趣 TV 行業(yè)資訊頻道！
