共計 1706 個字符，預計需要花費 5 分鐘才能閱讀完成。

本文丸趣 TV 小編為大家詳細介紹“CDH 集群調優的方法是什么”，內容詳細，步驟清晰，細節處理妥當，希望這篇“CDH 集群調優的方法是什么”文章能幫助大家解決疑惑，下面跟著丸趣 TV 小編的思路慢慢深入，一起來學習新知識吧。

DRF 和相關參數

DRF: Dominant Resource Fairness，根據 CPU 和內存公平調度資源。CDH 動態資源池默認采用的 DRF 計劃策略。簡單的理解就是內存不夠的時候，多余的 CPU 就不會分配任務了，就讓他空著；CPU 不夠的時候，多出來的內存也不會再啟動任務了。

理解這個計劃策略后，再查看 Yarn 啟動任務時資源相關的參數，發現有以下幾個參數可能會產生影響：

mapreduce.map.memory.mb，map 任務內存，cdh 默認 1G

mapreduce.map.cpu.vcores，map 任務虛擬 CPU 核數，cdh 默認 1

mapreduce.reduce.memory.mb，reduce 任務內存，cdh 默認 1G

mapreduce.reduce.cpu.vcores，reduce 任務虛擬 CPU 核數，cdh 默認 1

yarn.nodemanager.resource.memory-mb，容器內存，cdh 默認 8G

yarn.nodemanager.resource.cpu-vcores，容器虛擬 CPU 核數，cdh 默認 8，但 CM 會自動檢測內核數并修改，我這里被自動改成了 24。

可以看到默認配置下，CPU 核數和內存是 1：1G 的比例來啟動任務的。

接著查看了下分配給 Yarn 的內存，果然是 8×15=120G，所以可用內存比可用 vcores（360 個）比起來就小太多了，導致按照 1：1G 的比例下最多只能使用 120 個 vcores。

測試

為了證實我的猜想，將     yarn.nodemanager.resource.memory-mb     調成了 16G（咱內存 128G，管夠）。重啟 yarn 后，再次啟動 MR，于是有了下圖：

可以看到參數調整前，Yarn 可用內存為 120G，調整后變成了 240G；vcores 由調整前的 120 變成了 240。至此，證明猜想正確。

所以對于這個集群來說，由于內存為 128G，內核為 24 個，所以完全可以將    yarn.nodemanager.resource.memory-mb     參數調成 24G，這樣就能將所有的 CPU 都利用起來了。

測試結果

yarn.nodemanager.resource.memory-mb     為 8G 時：

Time taken: 3794.17 secondsTotal MapReduce CPU Time Spent: 3 days 10 hours 43 minutes 22 seconds 640 msec

yarn.nodemanager.resource.memory-mb     為 16G 時：

Time taken: 2077.138 secondsTotal MapReduce CPU Time Spent: 3 days 12 hours 55 minutes 43 seconds 210 msec

可以看到確實快了很多很多。(ps: 兩次跑的任務所用的數據不一樣，以免緩存導致第二次跑相同的任務會速度比第一次快，但兩次任務所用的數據量差不多，都在 650G 左右)

查看 VCores SQL

SELECT allocated_vcores_cumulative, available_vcores where category=YARN_POOL and serviceName= yarn  and queueName=root

查看分配給 Yarn 的內存 SQL

SELECT allocated_memory_mb_cumulative, available_memory_mb where category=YARN_POOL and serviceName= yarn  and queueName=root

當然最簡單的查看方式就是在 CM 的“動態資源池”頁面看。

讀到這里，這篇“CDH 集群調優的方法是什么”文章已經介紹完畢，想要掌握這篇文章的知識點還需要大家自己動手實踐使用過才能領會，如果想了解更多相關內容的文章，歡迎關注丸趣 TV 行業資訊頻道。