共計 615 個字符,預計需要花費 2 分鐘才能閱讀完成。
這篇文章主要介紹了 mac 下如何搭建 Spark 開發環境,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓丸趣 TV 小編帶著大家一起了解一下。
一. 下載 scale 安裝包
wget https://downloads.lightbend.com/scala/2.12.2/scala-2.12.2.tgz
二. 下載 spark 安裝包
wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz
三. 解壓縮到 /usr/local, 實例如下:
四. 配置環境變量
五. 配置 spark
向 spark-env.sh 配置如下環境參數
export SCALA_HOME=/usr/local/scala-2.12.2
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g
六. 啟動 spark
進入到 /usr/local/spark-2.1.1-bin-hadoop2.7/sbin 目錄
啟動腳本:start-all.sh
七. 啟動 spark-shell
感謝你能夠認真閱讀完這篇文章,希望丸趣 TV 小編分享的“mac 下如何搭建 Spark 開發環境”這篇文章對大家有幫助,同時也希望大家多多支持丸趣 TV,關注丸趣 TV 行業資訊頻道,更多相關知識等著你來學習!