共計 1959 個字符，預計需要花費 5 分鐘才能閱讀完成。
本篇內容介紹了“怎么在 Yarn 集群中分配 Container”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓丸趣 TV 小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！
YarnAllocator 從字面意思來看，也應該知道是在 Yarn 集群中分配 Container 的。
private[yarn] class YarnAllocator(
driverUrl: String,
driverRef: RpcEndpointRef,
conf: YarnConfiguration,
sparkConf: SparkConf,
amClient: AMRMClient[ContainerRequest],
appAttemptId: ApplicationAttemptId,
securityMgr: SecurityManager,
localResources: Map[String, LocalResource],
resolver: SparkRackResolver,
clock: Clock = new SystemClock)其中 driverUrl 就是 Driver 的地址。當用 YarnAllocator 分配 Container 來運行 Executors 時，這些 Executors 要聯系的 Driver 地址就是構造函數里的 driverRef 參數。
requestTotalExecutorsWithPreferredLocalities 方法是分配多個 Executor 的，先將分配請求保存在隊列里，然后在守護線程中異步的創建 Executor。
def requestTotalExecutorsWithPreferredLocalities(
requestedTotal: Int,
localityAwareTasks: Int,
hostToLocalTaskCount: Map[String, Int],
nodeBlacklist: Set[String]): Boolean = synchronized {
this.numLocalityAwareTasks = localityAwareTasks
this.hostToLocalTaskCounts = hostToLocalTaskCount
if (requestedTotal != targetNumExecutors) { logInfo(s Driver requested a total number of $requestedTotal executor(s). )
targetNumExecutors = requestedTotal
allocatorBlacklistTracker.setSchedulerBlacklistedNodes(nodeBlacklist)
true
} else {
false
}
}targetNumExecutors 就是說明要申請創建多少個 Executor 的意思。具體的實際創建動作是在 runAllocatedContainers 中執行的。
launcherPool.execute(() = {
try {
new ExecutorRunnable( Some(container),
conf,
sparkConf,
driverUrl,
executorId,
executorHostname,
executorMemory,
executorCores,
appAttemptId.getApplicationId.toString,
securityMgr,
localResources
).run()
updateInternalState()
} catch {
}這一段就是在分配的 Container 上創建 Executor 的過程，用 ExecutorRunner 來包裝的。其中的 driverUrl 就是構造函數中帶過來的 driver 的地址。
可見每個 driver 都會創建一個屬于自己的單獨的 YarnAllocator。
順便說一句，很多人以前 Spark 是集群，實際上 Spark 本身只是一種計算方式，可以看成它只是 jar 包。Spark 的 driver 運行時才會去申請 Executor，向 Yarn 申請或者向 Standalone 集群申請。Standalone 集群是指 Master 和 Worker，不是指 Spark core，更不是指 SparkContext。
“怎么在 Yarn 集群中分配 Container”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注丸趣 TV 網站，丸趣 TV 小編將為大家輸出更多高質量的實用文章！
