共計 767 個字符，預(yù)計需要花費 2 分鐘才能閱讀完成。

這篇文章主要講解了“如何構(gòu)建 Spark 集群”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著丸趣 TV 小編的思路慢慢深入，一起來研究和學習“如何構(gòu)建 Spark 集群”吧！

從控制臺我們可以看見有兩個 DataNode，此時我們點擊“Live Nodes”查看一下其信息：

從控制臺中看到了我們的兩個 Datanode 節(jié)點 SparkWorker1 和 SparkWorker2，這正是我們預(yù)期中的！

第三步：啟動 yarn 集群

使用 jps 命令可以發(fā)現(xiàn) SparkMaster 機器上啟動了 ResourceManager 進程：

而在 SparkWorker1 和 SparkWorker2 上則分別啟動了 NodeManager 進程：

在 SparkMaster 上訪問 http://SparkMaster:8088  可以通過 Web 控制臺查看 ResourceManager 運行狀態(tài)：

在 SparkMaster 上訪問 http://SparkWorker1:8042  可以通過 Web 控制臺查看 SparkWorker1 上的 NodeManager 運行狀態(tài)：

在 SparkMaster 上訪問 http://SparkWorker2:8042  可以通過 Web 控制臺查看 SparkWorker2 上的 NodeManager 運行狀態(tài)：

接下來使用“mr-jobhistory-daemon.sh”來啟動 JobHistory Server：

啟動后可以通過 http://SparkMaster:19888  在 Web 控制臺上看到 JobHistory 中的任務(wù)執(zhí)行歷史信息：

感謝各位的閱讀，以上就是“如何構(gòu)建 Spark 集群”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對如何構(gòu)建 Spark 集群這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是丸趣 TV，丸趣 TV 小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！