HadoopOnDemand如何配置

這篇文章主要為大家展示了“HadoopOnDemand如何配置”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“HadoopOnDemand如何配置”這篇文章吧。

HadoopOnDemand：配置指南

1.簡介

這個文檔講述了一些最重要和常用的HadoopOnDemand（HOD）的配置項。這些配置項可通過兩種方式指定：INI風格的配置文件，通過--section.option[=value]格式指定的HODshell的命令行選項。如果兩個地方都指定了同一個選項，命令行中的值覆蓋配置文件中的值。

你可以通過以下命令獲得所有配置項的簡要描述：
$hod--verbose-help

2.段

HOD配置文件分成以下幾個配置段：
hod：HOD客戶端的配置項
resource_manager：指定要使用的資源管理器的配置項，以及使用該資源管理器時需要的一些其他參數。
ringmaster：RingMaster進程的配置項
hodring：HodRing進程的配置項
gridservice-mapred：Map/Reduce守護進程的配置項
gridservice-hdfs：HDFS守護進程的配置項

3.HadoopOnDemand中HOD配置項
接下來的一節會先描述大部分HOD配置段中通用的一些配置項，再描述各配置段特有的配置項。

3.1一般的配置項
某些配置項會在HOD配置中的多個段定義。在一個段中定義的配置項，會被該段所適用的所有進程使用。這些配置項意義相同，但在不同的段中可以有不同的取值。

temp-dir:HOD進程使用的臨時目錄。請確保運行hod的用戶有權限在這個指定的目錄下創建子目錄。如果想在每次分配的時候都使用不同的臨時目錄，可以使用環境變量，資源管理器會讓這些環境變量對HOD進程可用。例如，在Torque設置的時候，使--ringmaster.temp-dir=/tmp/hod-temp-dir.$PBS_JOBID會讓ringmaster在每一次申請時使用不同的臨時目錄；Troque會在ringmaster啟動前展開這個環境變量。

debug：數值類型，取值范圍是1-4。4會產生最多的log信息。
log-dir：日志文件的存放目錄。缺省值是<install-location>/logs/。temp-dir變量的限制和注意事項在這里同樣使用。
xrs-port-range：端口范圍，會在這之中挑選一個可用端口用于運行XML-RPC服務。
http-port-range：端口范圍，會在這之中挑選一個可用端口用于運行HTTP服務。
java-home：給Hadoop使用的Java的位置。
syslog-address：syslog守護進程要綁定的地址。格式為host:port。如果配置了這個選項，HOD日志信息會被記錄到這個位置的syslog。

3.2HadoopOnDemand中hod的配置項

cluster：集群的描述性名稱。對于Torque，這個值被指定為集群中所有節點的'Nodeproperty'。HOD使用這個值計算可用節點的個數。
client-params：逗號分割的hadoop配置參數列表，其中的每一項都是一個key-value對。在提交節點上會據此產生一個hadoop-site.xml，用于運行Map/Reduce作業。
job-feasibility-attr:正則表達式，用于指定是否和如何檢查作業的可行性－資源管理器限制或調度限制。目前是通過torque作業的'comment'屬性實現的，缺省情況下沒有開啟這個功能。設置了這個配置項后，HOD會使用它來確定哪些種類的限制是啟用的，以及請求超出限制或者累積超出限制時是回收機群還是留在排隊狀態。torquecomment屬性可以被某個外部機制周期性地更新。比如，comment屬性被hod/support目錄下的checklimits.sh更新，這樣設置job-feasibility-attr的值等于TORQUE_USER_LIMITS_COMMENT_FIELD,"User-limitsexceeded.Requested:([0-9]*)Used:([0-9]*)MaxLimit:([0-9]*)"會使HOD產生相應的行為。

3.3HadoopOnDemand中resouce_manager的配置項

queue：資源管理器中配置的隊列名，作業會被提交到這里。
batch-home：個安裝目錄，其下的'bin'中有資源管理器的可執行文件。
env-vars：逗號分隔的key-value對的列表，形式是key=value，它會被傳遞給運行在計算節點的作業。例如，如果ptyhon沒有安裝在常規位置，用戶可以通過設置環境變量'HOD_PYTHON_HOME'指定python可執行文件的路徑。之后，在計算節點運行的HOD的進程就可以使用這個變量了。

以上是“HadoopOnDemand如何配置”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！