Yarn實現原理和管理是怎樣的

這篇文章給大家介紹Yarn實現原理和管理是怎樣的，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

Yarn中對于CPU的管理使用了CGroup方案，即使用CGroup來對Yarn中Container的計算能力進行管理。RM中的調度器根據AM的資源請求分配相應數量資源的Container，主要包括內存和CPU兩種資源，CPU的分配與內存的分配過程是一樣的。小編著重講解Container中CPU的管理。

Yarn中包含兩類容器執行腳本，若想實現對CPU的控制，需要使用LinuxContainerExecutor.java來啟動容器，默認的 DefaultContainerExecutor.java無法管理CPU，可以將配置文件中的yarn.nodemanager.Linux-Container-executor.resources-handler.class參數值設為org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler

LinuxContainerExecutor可以實現以容器所屬用戶的身份運行container，而默認的 DefaultContainerExecutor只能以普通管理員身份運行container。

首先我們需要關注配置文件中的兩個參數，源碼中配置文件的路徑為hadoop-yarn-api\src\main\java\org\apache\hadoop\yarn\conf\YarnConfiguration.java

第一個參數表示該節點上可以分配給容器使用的CPU核數，用vcores表示，默認為8，yarn中之所以采用虛擬CPU來表示，是為了消除不同CPU性能之間的差異，默認1個物理CPU對應一個虛擬CPU，需要手工設置。

第二個參數表示節點上的CPU可以分配給所有容器的使用時間比例，默認為100%，即所有CPU的計算能力全部供Yarn使用。

還有一個參數是用來限制是否允許在CPU空閑時，可以將多余的計算能力分配給其他進程使用，默認允許，若設為TRUE，則會嚴格按照資源限制控制容器的CPU使用時間，該參數如下：

了解完幾個主要參數后再來看一下容器的CPU使用是具體怎樣控制的。

該控制邏輯代碼在hadoop-yarn-server\hadoop-yarn-server-nodemanager\src\main\java\org\apache\hadoop\yarn\server\nodemanager\util\CgroupsLCEResourcesHandler.java文件中。

下面看一下幾個關鍵的邏輯點：

這兩個方法會分別在容器啟動前和容器執行完后進行調用，具體的調用過程是在hadoop-yarn-server\hadoop-yarn-server-nodemanager\src\main\java\org\apache\hadoop\yarn\server\nodemanager\LinuxContainerExecutor.java中的launchContainer方法中進行調用的。

第一個方法主要用來設置容器的CPU使用限額，具體實現在setupLimits方法中：

這個方法首先獲取Container中分配的虛擬CPU數量，接著創建CGroup的文件路徑，即在CGroup路徑中創建與CPU和容器名稱相關的路徑。在這個方法中可以看到有兩種CPU的限制方式：

第一種是通過cpuShares參數，該參數其實就是依據容器中分配的虛擬CPU數量來計算使用時間的，比如容器A為1 vcores，容器B為2 vcores，則容器A和B在滿負荷運行時可以使用的CPU配額為1：2，該配比是相對的，即若只有一個容器，則可以使用100%的CPU時間。這種方式在保證公平的情況下能更加充分利用資源。

第二種需要開啟上述提到的cgroups.strict-resource-usage參數， 即設為TRUE，通過調用 getOverallLimits方法得到具體限額，然后將限額寫入cfs_period_us和cfs_quota_us文件中，這種方式限制的是絕對使用時間，來看一下getOverallLimits方法：

這里涉及到了幾個參數：

yarnProcessors：代表在某個節點上yarn中可使用的虛擬CPU數量， 最小不能低于0.01，該參數的值是通過在init方法中調用NodeManagerHardwareUtils.getContainersCores方法進行初始化的，即根據配置文件中設定的CPU分配比例來計算Yarn可用的CPU數量：

quotaUS：就是在一個時間周期內可使用的 cpu 時間。

periodUS：時間周期(每個cpu core)。

具體計算方式在getOverallLimits方法中：

quotaUS默認值為1000 * 1000，即1秒，periodUS默認值為（1000 * 1000/yarnProcessors）取整。

當yarnProcessors小于1時，quotaUS的值為 (periodUS * yarnProcessors)取整，但最小不能低于1000ms，periodUS的值為1000 * 1000，即1秒。

將這兩個值返回并寫入文件中。

當容器執行完畢時，會清理上面設置的CPU限額配置，具體實現在下面的方法中：

關于Yarn實現原理和管理是怎樣的就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。