HadoopOnDemand配置項的示例分析

這篇文章主要介紹HadoopOnDemand配置項的示例分析，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

3.4HadoopOnDemand中ringmaster的配置項

work-dirs：這是一個由逗號分隔的路徑列表，這些路徑將作為HOD產生和傳遞給Hadoop，用于存放DFS和Map/Reduce數據的目錄的根目錄。例如，這是DFS數據塊存放的路徑。一般情況下，有多少塊磁盤就指定多少路徑，以確保所有的磁盤都被利用到。temp-dir變量的限制和注意事項在這兒同樣適用。
max-master-failures：hadoop主守護進啟動前可以失敗的次數，超出這個次數后，HOD會讓這次集群分配失敗。在HOD集群中，有時候由于某些問題，比如機器沒安裝java，沒有安裝Hadoop，或者Hadoop版本錯誤等，會存在一個或幾個“壞”節點。當這個配置項被設為正整數時，只有當hadoopmatser（JobTracker或者NameNode）在上述的壞節點上，由于上面提到的種種原因啟動失敗的次數超過設定的值時，RingMaster才會把錯誤返回給客戶端。如果嘗試啟動的次數沒有超過設定值，當下一個HodRing請求運行一個命令時，同一個hadoopmaster會指定給這個HodRing。這樣，即使集群中存在一些壞的節點，HOD也會盡全力使這次分配成功。

3.5HadoopOnDemand中gridservice-hdfs的配置項

external：如果被置為false，HOD必須在通過allocate命令分配的節點上自己創建HDFS集群。注意，在這種情況下，如果集群被回收，HDFS集群會停止，所有數據會丟失。如果被置為true，它會嘗試鏈接外部的已配置的HDFS系統。通常，因為在作業運行之前作業的輸入需要被放置在HDFS上，并且作業的輸出需要持久保留，在生產環境中一個內部的HDFS集群意義不大。
host：外部配置好的NameNode的主機名。
fs_port：NameNodeRPC服務綁定的端口。
info_port：NameNodewebUI服務綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執行文件。可用來使用集群上預先安裝的Hadoop版本。
server-params：一個逗號分割的hadoop配置參數列表，每一項為key-value對形式。這些將用于產生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params：除會被標記為final外和上面相同。

3.6HadoopOnDemand中gridservice-mapred的配置項

external：如果被置為false，HOD必須在通過allocate命令分配的節點上自己創建Map/Reduce集群。如果被置為true，它會嘗試鏈接外部的已配置的Map/Reduce系統。
host：外部配置好的JobTracker的主機名。
tracker_port：JobTrackerRPC服務綁定的端口。
info_port：JobTrackerwebUI服務綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執行文件。
server-params：一個逗號分割的hadoop配置參數列表，每一項為key-value對形式。這些將用于產生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params：除會被標記為final外和上面相同。

3.7HadoopOnDemand中hodring的配置項

mapred-system-dir-root：DFS上的目錄，HOD會在這個目錄下創建子目錄并把全路徑作為參數'mapred.system.dir'的值傳遞給Hadoop守護進程。全路徑的格式為value-of-this-option/userid/mapredsystem/cluster-id。注意，如果HDFS啟用了權限，這里指定的路徑下應允許所有用戶創建子目錄。設置此配置項的值為/user會使HOD使用用戶的home目錄來產生mapred.system.dir的值。
log-destination-uri：一個URL，能反映一個外部的靜態的DFS或者集群節點上的本地文件系統上的路徑。當集群被回收時，HOD會把Hadoop日志上傳到這個路徑。要指定DFS路徑，使用'hdfs://path'格式。要指定一個集群節點上的本地文件系統路徑，使用'file://path'格式。當HOD回收集群時，作為HOD的清除過程的一部分，hadoop日志會被刪除。要做到持久儲這些日志，你可以使用這個配置項。路徑的格式會是values-of-this-option/userid/hod-logs/cluster-id。注意，應該保證所有的用戶能在這里指定的目錄下創建子目錄。把這個值設為hdfs://user會使這些日志被轉移到用戶在DFS上的home目錄下。
pkgs：安裝目錄，其下有bin/hadoop可執行文件。如果給log-destination-uri指定了一個HDFSURL，HOD上傳日志時會用到這個配置項。注意，當用戶使用了和外部靜態HDFS不同版本的tarball時，這個配置項會派上用場。

以上是“HadoopOnDemand配置項的示例分析”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！