Hadoop環境搭建cdh版本

hadoop環境搭建單機（cdh版本）

1.下載安裝包

????? 下載地址http://hadoop.apache.org/

下載hadoop-2.6.0-cdh6.12.2

2.安裝tar -zxvf? hadoop-2.6.0-cdh6.12.2.tar.gz

3.創建文件夾儲存hadoop，給hadoop重命名

4.進入etc文件夾選擇hadoop文件夾? cd hadoop

5.開始配置hadoop-env.sh?? 修改其中的JAVA_HOME路徑

6.配置core-site.xml

fs.defaultFS默認文件系統的名稱,用來確定主機、端口等對于一個文件系統.

hadoop.tmp.dir是hadoop的臨時文件目錄

hadoop.proxyuser.root.users 遠程使用root登錄的用戶

hadoop.proxyuser.root.groups遠程root組的用戶登錄

?

7.修改hdfs-site.xml ??

dfs.replication文件副本數量，副本數量默認按128M進行切分，若小于此值的話則不切分！一個文件，上傳到hdfs上時指定的是幾個副本就是幾個。以后你修改了副本數，對已經上傳了的文件也不會起作用。

8.復制mapred-site.xml.template 并修改內容

使用 Yarn 框架執行 map-reduce 處理程序

9.配置yarn-site.xml

yarn.resourcemanager.address提供客戶端訪問的地址。客戶端通過該地址向RM提交應用程序，殺死應用程序等

?

yarn.nodemanager.aux-services通過該配置項，用戶可以自定義一些服務，例如Map-Reduce的shuffle功能就是采用這種方式實現的，這樣就可以在NodeManager上擴展自己的服務。

?

Shuffle把一組有一定規則的數據盡量轉換成一組無規則的數據，越隨機越好，從Map輸出到Reduce輸入的整個過程可以廣義地稱為Shuffle。

?

10修改etc/profile,添加以下內容

export HADOOP_HOME=/opt/bigdata/hadoop260?

export HADOOP_MAPRED_HOME=$HADOOP_HOME?

export HADOOP_COMMON_HOME=$HADOOP_HOME?

export HADOOP_HDFS_HOME=$HADOOP_HOME?

export YARN_HOME=$HADOOP_HOME?

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native?

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin?

export HADOOP_INSTALL=$HADOOP_HOME

?

?

11.格式化

hdfs namenode -format

?

12、啟動start-all.sh?

??? 關閉是stop-all.sh

13、jps查看所有進程是否開啟

14、訪問

http://192.168.56.110:50070

?

?