怎么進行Hadoop安裝部署

這篇文章將為大家詳細講解有關怎么進行Hadoop安裝部署，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

1.Hadoop環境變量

在/home/dbrg/HadoopInstall/hadoop-conf目錄下的hadoop_env.sh中設置Hadoop需要的環境變量，其中JAVA_HOME是必須設定的變量。HADOOP_HOME變量可以設定也可以不設定，如果不設定，HADOOP_HOME默認的是bin目錄的父目錄，即本文中的/home/dbrg/HadoopInstall/hadoop。我的是這樣設置的
exportHADOOP_HOME=/home/dbrg/HadoopInstall/hadoop
exportJAVA_HOME=/usr/java/jdk1.6.0
從這個地方就可以看出前面所述的創建hadoop0.12.0的鏈接hadoop的優點了，當以后更新hadoop的版本的時候，就不需要在改配置文件，只需要更改鏈接就可以了。

2.Hadoop配置文件
如前所述，在hadoop-conf/目錄下，打開slaves文件，該文件用來指定所有的從節點，一行指定一個主機名。即本文中的dbrg-2，dbrg-3，因此slaves文件看起來應該是這樣的
dbrg-2
dbrg-3
在conf/目錄中的hadoop-default.xml中包含了Hadoop的所有配置項，但是不允許直接修改！可以在hadoop-conf/目錄下的hadoop-site.xml里面定義我們需要的項，其值會覆蓋hadoop-default.xml中的默認值。可以根據自己的實際需要來進行定制。以下是我的配置檔：

<?xmlversionxmlversion="1.0"?> <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?> <!--Putsite-specificpropertyoverridesinthisfile.--> <configuration> <property> <name>fs.default.name</name> <value>dbrg-1:9000</value> <description>Thenameofthedefaultfilesystem.Eithertheliteralstring"local"orahost:portforDFS.</description> </property> <property> <name>mapred.job.tracker</name> <value>dbrg-1:9001</value> <description>ThehostandportthattheMapReducejobtrackerrunsat.If"local",thenjobsarerunin-processasasinglemapandreducetask.</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/dbrg/HadoopInstall/tmp</value> <description>Abaseforothertemporarydirectories.</description> </property> <property> <name>dfs.name.dir</name> <value>/home/dbrg/HadoopInstall/filesystem/name</value> <description>DetermineswhereonthelocalfilesystemtheDFSnamenodeshouldstorethenametable.Ifthisisacomma-delimitedlistofdirectoriesthenthenametableisreplicatedinallofthedirectories,forredundancy.</description> </property> <property> <name>dfs.data.dir</name> <value>/home/dbrg/HadoopInstall/filesystem/data</value> <description>DetermineswhereonthelocalfilesystemanDFSdatanodeshouldstoreitsblocks.Ifthisisacomma-delimitedlistofdirectories,thendatawillbestoredinallnameddirectories,typicallyondifferentdevices.Directoriesthatdonotexistareignored.</description> </property> <property> <name>dfs.replication</name> <value>1</value> <description>Defaultblockreplication.Theactualnumberofreplicationscanbespecifiedwhenthefileiscreated.Thedefaultisusedifreplicationisnotspecifiedincreatetime.</description> </property> </configuration>

3.部署Hadoop

前面Hadoop安裝部署過程中講的這么多Hadoop的環境變量和配置文件都是在dbrg-1這臺機器上的，現在需要將hadoop部署到其他的機器上，保證目錄結構一致。
[dbrg@dbrg-1:~]$scp-r/home/dbrg/HadoopInstalldbrg-2:/home/dbrg/
[dbrg@dbrg-1:~]$scp-r/home/dbrg/HadoopInstalldbrg-3:/home/dbrg/
至此，可以說，Hadoop已經在各個機器上部署完畢了下面就讓我們開始啟動Hadoop吧

4.啟動Hadoop

Hadoop安裝部署完成后需要啟動Hadoop。啟動之前，我們先要格式化namenode，先進入~/HadoopInstall/hadoop目錄，執行下面的命令
[dbrg@dbrg-1:hadoop]$bin/hadoopnamenode-format
不出意外，應該會提示格式化成功。如果不成功，就去hadoop/logs/目錄下去查看日志文件
下面就該正式啟動hadoop啦，在bin/下面有很多啟動腳本，可以根據自己的需要來啟動。
*start-all.sh啟動所有的Hadoop守護。包括namenode,datanode,jobtracker,tasktrack
*stop-all.sh停止所有的Hadoop
*start-mapred.sh啟動Map/Reduce守護。包括Jobtracker和Tasktrack
*stop-mapred.sh停止Map/Reduce守護
*start-dfs.sh啟動HadoopDFS守護.Namenode和Datanode
*stop-dfs.sh停止DFS守護
在這里，簡單啟動所有守護
[dbrg@dbrg-1:hadoop]$bin/start-all.sh
同樣，如果要停止hadoop，則
[dbrg@dbrg-1:hadoop]$bin/stop-all.sh

HDFS操作
運行bin/目錄的hadoop命令，可以查看Haoop所有支持的操作及其用法，這里以幾個簡單的操作為例。

建立目錄
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-mkdirtestdir
在HDFS中建立一個名為testdir的目錄

復制文件
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-put/home/dbrg/large.ziptestfile.zip
把本地文件large.zip拷貝到HDFS的根目錄/user/dbrg/下，文件名為testfile.zip

查看現有文件
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-ls。

關于“怎么進行Hadoop安裝部署”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。