共計 939 個字符，預計需要花費 3 分鐘才能閱讀完成。

本篇內容介紹了“spark 內核核心術語如何解析”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓丸趣 TV 小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

Application:

Application 是創建了 SparkContext 實例對象的 spark 用戶，包含了 Driver 程序：

Spark-shell 是一個應用程序，因為 spark-shell 在啟動的時候創建了一個 SparkContext 對象，其名稱為 sc:

Job:

和 Spark 的 action 相對應，每一個 action 例如 count、saveAsTextFile 等都會對應一個 job 實例，該 job 實例包含多任務的并行計算。

Driver Program：

運行 main 函數并且創建 SparkContext 實例的程序

Cluster Manager：

集群資源的管理外部服務，在 spark 上現在有 standalone、yarn、mesos 等三種集群資源管理器，spark 自帶的 standalone 模式能夠滿足大部分的 spark 計算環境對集群資源管理的需求，基本上只有在集群中運行多套計算框架的時候才考慮 yarn 和 mesos

Worker Node：

集群中可以運行應用代碼的工作節點，相當于 Hadoop 的 slave 節點

Executor：

在一個 Worker Node 上為應用啟動的工作進程，在進程中賦值任務的運行，并且負責將數據存放在內存或磁盤上，必須注意的是，每個應用在一個 Worker Node 上只會有一個 Executor，在 Executor 內部通過多線程的方式并發處理應用的任務。

State：

一個 job 會被拆分成很多任務，每一組任務被稱為 state，這個 MapReduce 的 map 和 reduce 任務很像，劃分 state 的依據在于：state 開始一般是由于讀取外部數據或者 shuffle 數據、一個 state 的結束一般是由于發生 shuffle（例如 reduceByKey 操作）或者整個 job 結束時，例如要把數據放到 hdfs 等存儲系統上

“spark 內核核心術語如何解析”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注丸趣 TV 網站，丸趣 TV 小編將為大家輸出更多高質量的實用文章！