Hadoop應用之如何實現Hadoop安裝

這篇文章給大家分享的是有關Hadoop應用之如何實現Hadoop安裝的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

一，安裝hadoop系統

1，添加用戶（所有namenode和datanode需要使用相同的用戶名,所有的信息傳輸需要用戶認證）
freebsd7test1#adduser
Username:rhinuxdoop
Fullname:
Uid(Leaveemptyfordefault):
Logingroup[rhinuxdoop]:
Logingroupisrhinuxdoop.Inviterhinuxdoopintoothergroups?[]:
Loginclass[default]:
Shell(shcshtcshbashrbashnologin)[sh]:bash//注意***使用bash,其實程序運行的時候會自動指定shell環境
Homedirectory[/home/rhinuxdoop]:/services/rhinuxdoop
客戶端必須是和服務端同樣的用戶名

2，hadoop需要使用rsync+ssh同步狀態和數據，需要無需輸入密碼就可訪問,所以設置用密鑰認證
a,生產密鑰對（用添加的用戶操作本例用戶為rhinuxdoop）
[rhinuxdoop@freebsd7test1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
默認在~/.ssh/下
b,在本機用戶中添加
[rhinuxdoop@freebsd7test1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
c,添加到其他datanode
將namenoderhinuxdoop用戶目錄下.ssh/id_rsa.pub文件內容導入其他datanode
[rhinuxdoop@freebsd7test2~]$catid_dsa.pub>>~/.ssh/authorized_keys
d，測試：用rhinuxdoop在namenode上登陸讓后ssh到所有的datanode（本例中包括自己機器）
應該無需密碼就可以登陸

3，下載hadoop安裝軟件
a,去http://hadoop.apache.org/core/下載***版本hadoop目前為0.16.0版
b,解壓hadoop-0.16.0.tar.gz到用戶目錄/services/rhinuxdoop/
[rhinuxdoop@freebsd7test1~]$tarzxvfhadoop-0.16.0.tar.gz.

4,hadoop-0.16.0目錄結構說明：
a,bin存放腳本程序，
比如主控制程序hadoop,
啟動腳本start-all.sh--啟動所有hadoop進程start-dfs.sh--啟動DFS進程start-mapred.sh啟動MAP/Reduce進程
停止腳本stop-all.shstop-dfs.shstop-mapred.sh
b，conf配置文件目錄，
環境配置文件hadoop-env.sh可以配置環境變量，比如JAVA_HOME已經系統默認等。
默認配置文件hadoop-default.xml此文件不能修改需要設置參數請修改hadoop-site.xml
自定義配置文件hadoop-site.xml此文件可以自定義配置，出現在該文件中的配置項，系統將自動取代默認配置文件hadoop-default.xml中的配置項
namenode指定文件masters此文件來指定master(namenode)機器名
datanode指定文件slaves此文件來指定slave(datanode)機器列表，每臺機器名占一行
c，log目錄
默認日志存放目錄
d，各配置文件具體參數說明和研究下一個版本中給出。下面我們看一下Hadoop安裝過程中hadoop配置(freebsd7test1)。

5，hadoop配置(freebsd7test1)：
a,建立namenode存儲目錄及數據目錄
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/name
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/data
b,配置環境變量，編輯./conf/hadoop-env.sh
===============hadoop-env.sh====================
exportJAVA_HOME=/usr/local/jdk1.5.0
#至少要設置JAVA_HOME，另外也可以設置HADOOP_HOME-系統目錄,HADOOP_HOME默認為bin目錄的父目錄
=================================================

c，配置hadoop-site.xml(關于可配置項已經各配置項的說明可以參考hadoop-default.xml)
配置項格式為：

<property> <name>io.file.buffer.size</name> <value>4096</value> <description>Thesizeofbufferforuseinsequencefiles.  Thesizeofthisbuffershouldprobablybeamultipleofhardware  pagesize(4096onIntelx86),anditdetermineshowmuchdatais  bufferedduringreadandwriteoperations.</description> </property>  <property> <name>配置項名字</name> <value>配置項的值</value> <description>配置項的說明此文字只是幫助人理解用.</description> </property>

格式化namenode
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopnamenode-format
無報錯既可，Hadoop安裝過程中freebsd7test1基本配置已完成

6，hadoop配置(freebsd7test2及其他datanode)

a，其他datanode必須保持namenode相同的目錄結構所以把namenode目錄復制過去
[rhinuxdoop@freebsd7test1~]$scp-rhadoop-0.16.0172.16.27.82:/services/rhinuxdoop/

7，啟動hadoop
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/start-all.sh
此時會告知日志記錄的目錄和文件名，日志記錄基本可以在hadoop-site.xml中設定默認在hadoop-default.xml中設置為info

8,查看和測試。

a,系統開啟9000和9001端口分別為dfs的namenode和mapreduce的jobtracke監聽口。

b,查看datanode狀態：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopdfsadmin-report可以看到各點的狀態

c,存放文件：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-put/home/xuyunfeng/tzupdater-1.3.3-2007k.ziptzupdater-1.3.3-2007k.zip
將在本地系統目錄的/home/xuyunfeng/tzupdater-1.3.3-2007k.zip存入hadoop文件系統根目錄中。

d,查看hadoop文件系統目錄[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-ls
/user/rhinuxdoop/diablo-caffe-freebsd6-i386-1.5.0_07-b01.tar.bz2<r3>543472742008-02-2810:57rw-r--r--rhinuxdoopsupergroup
/user/rhinuxdoop/tzupdater-1.3.3-2007k.zip<r3>2637152008-02-2816:16rw-r--r--rhinuxdoopsupergroup

e,更多hadoop文件系統命令操作請參考手冊

f，api調用測試后續

g,可以通過web形式去瀏覽NameNode和JobTracker，默認端口為：
◆NameNode-http://freebsd7test1.rhinux.com:50070
◆JobTracker-http://freebsd7test1.rhinux.com:50030
◆需要在瀏覽的機器上配置好hosts。

感謝各位的閱讀！關于“Hadoop應用之如何實現Hadoop安裝”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！