Linux下怎樣安裝Hadoop

這篇文章將為大家詳細講解有關Linux下怎樣安裝Hadoop，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Linux下安裝Hadoop教程

目的：此安裝Hadoop教程旨在引導未接觸Hadoop的新手入門只用，高手請飄過。

環境：Fedora12
Kernel2.6.31.5-127.fc12.i686.PAE
Hadoop-0.20.2
jdk-6u18-linux-i586
初學者可以選擇三臺實體機子做實驗，一臺做NameNode，JobTracker，另外兩臺做DataNode，TaskTracker。
本安裝Hadoop教程里就用的三臺機子做演示。
station1192.168.128.11NameNode
station2192.168.128.22DataNode
station3192.168.128.33DataNode

1、Fedora的安裝就不用演示了，裝好后默認是啟動sshd服務的。
不確定的話可以手工查一下
[root@station1~]#servicesshdstatus
如果沒有啟動，可以手工啟動
[root@station1~]#servicesshdstart

2、建立ssh無密碼登錄
在NameNode上
[cuijj@station1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
會在~/.ssh/生成兩個文件：id_dsa和id_dsa.pub。這兩個是成對出現的。
把id_dsa.pub文件追加到DataNode上的authorized_keys(默認是沒有這個文件的)內。
[cuijj@station1~]$scpid_dsa.pubcuijj@192.168.128.22:/home/cuijj/
登錄到192.168.128.22上（另一臺DataNode一樣）
[cuijj@station1~]$catid_dsa.pub>>~/.ssh/authorized_keys

3、關閉防火墻
[root@station1~]#serviceiptablesstop

4、安裝jdk1.6(確保幾臺機子的java環境一樣)
到官網http://java.sun.com下載jdk-6u18-linux-i586.bin，下載后，直接安裝。本安裝Hadoop教程的安裝路徑為/home/cuijj/jdk1.6.0_18。安裝后添加如下語句到/ect/profile中：
exportJAVA_HOME=/home/cuijj/jdk1.6.0_18
exportJRE_HOME=/home/cuijj/jdk1.6.0_18/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

5、安裝hadoop
到官網下載hadoop-0.20.2.tar.gz
[cuijj@station1~]$tarxzvfhadoop-0.20.2.tar.gz
把Hadoop的安裝路徑添加到/etc/profile中
exportHADOOP_HOME=/home/cuijj/hadoop-0.20.2
exportPATH=$HADOOP_HOME/bin:$PATH
為了讓/etc/profile生效，source一下
[cuijj@station1~]$source/etc/profile

6、配置hadoop
安裝Hadoop教程介紹一下如何配置Hadoop。hadoop的配置文件在/conf目錄下
1）配置Java環境
[cuijj@station1~]$vimhadoop-0.20.2/conf/hadoop-env.sh
exportJAVA_HOME=/home/cuijj/jdk1.6.0_18
2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
[cuijj@station1~]$vimhadoop-0.20.2/conf/core-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/mapred-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/hdfs-site.xml
3）將NameNode上拷貝完整的hadoop到DataNode上
4）配置NameNode上的conf/masters和conf/slaves
masters:
192.168.128.11
slaves:
192.168.128.22
192.168.128.33

7、運行hadoop
1）格式化文件系統
[cuijj@station1hadoop-0.20.2]$hadoopnamenode-format
2）啟動Hadoop
[cuijj@station1hadoop-0.20.2]$bin/start-all.sh
3）用jps命令查看進程，NameNode上的結果如下：
4）查看集群狀態
[cuijj@station1hadoop-0.20.2]$hadoopdfsadmin-report
5）用hadoop的web方式查看
[cuijj@station1hadoop-0.20.2]$linkshttp://192.168.128.11:50070

8、運行wordcount.java程序
1）先在本地磁盤建立兩個文件file01和file02
[cuijj@station1~]$echo"Hellocuijjbyecuijj">file01
[cuijj@station1~]$echo"HelloHadoopGoodbyeHadoop">file02
2）在hdfs中建立一個input目錄
[cuijj@station1~]$hadoopdfs-mkdirinput
3）將file01和file02拷貝到hdfs的input目錄下
[cuijj@station1~]$hadoopdfs-copyFromLocal/home/cuijj/file0*input
4）查看hdfs中有沒有input目錄
[cuijj@station1~]$hadoopdfs-ls
5）查看input目錄下有沒有復制成功file01和file02
6）執行wordcount（確保hdfs上沒有output目錄）
[cuijj@station1hadoop-0.20.2]$hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput
7）運行完成，查看結果

關于“Linux下怎樣安裝Hadoop”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。