Hadoop中如何使用命令行接口運行Mini集群

這篇文章主要為大家展示了“Hadoop中如何使用命令行接口運行Mini集群”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Hadoop中如何使用命令行接口運行Mini集群”這篇文章吧。

目的：

使用命令行接口運行Mini集群，用戶可以使用一個簡單的命令啟動或者停止一個單節點的Hadoop集群，不需要設置任何環境變量和管理配置文件。這個CLI Mini集群將會啟動Yarn/MapReduce和HDFS。

這個案例適合想要快速體驗一個真實的Hadoop集群或者測試一個沒有java程序的功能。

Hadoop Tarbar

你應該盡可能的使用Hadoop tarball的release版本，當然，你也可以從源代碼創建一個tarball：

$mvn clean install -DskipTests
$mvn package -pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意：在安裝tarball之前需要 protoc 2.5.0被安裝

tarball竟可能的安裝在hadoop-dist/target/目錄。

運行Mini集群：

從root目錄解壓出tarball，你可以使用下面的命令啟動CLI Mini集群：

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.4.1-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上邊命令行的例子中，RM_PORT和JHS_PORT應該被用戶選擇的端口號替換。如果沒有被指定，將會隨機分配端口給用戶。

通過其他的屬性配置，當控制服務啟動的時候這兒有一些控制命令參數可以被用戶使用。 有效的命令行參數：

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       多少datanode節點被啟動 (默認為1)
$ -format                格式化DFS(默認為false)
$ -help                  打印幫助信息.
$ -jhsport <arg>         (default 0--we choose)
$ -namenode <arg>        NameNode的URL (默認是DFS集群或者一個臨時目錄)
$ -nnport <arg>          NameNode port (default 0--we choose)
$ -nodemanagers <arg>    多少個NameNodes被啟動 (default 1)
$ -nodfs                 不允許啟動一個 mini DFS 集群
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager 端口(default 0--we choose)
$ -writeConfig <path>    保存配置到指定的文件（path）.
$ -writeDetails <path>   以json格式寫入基本信息到指定的目錄（path）.

用戶可以通過-help參數命令顯示了有效列表的參數使用方法。

以上是“Hadoop中如何使用命令行接口運行Mini集群”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！