Hadoop文件系統怎么安裝

這篇文章主要講解了“Hadoop文件系統怎么安裝”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Hadoop文件系統怎么安裝”吧！

Hadoop文件系統（HDFS）快速安裝與使用技術文檔

準備3臺機器，一臺作為Namenode，命名為master，兩臺作為dataNode，命名為slave01,slave02
在3臺機器上都設置hadoop用戶。

設置hadoop用戶從master到slavessh不需要密碼，設置方法參見“設置SSH服務器只采用密鑰認證”一文。
注意：
（1）authorized_keys文件的訪問權限應該設置為644，否則可能導致無密碼登錄失敗。
（2）從master到master登錄也需要配置無密碼登錄，否則會導致Namenode啟動失敗
下載并安裝JDK，并在/etc/profile配置相應的環境變量，比如
JAVA_HOME=/usr/java/jdk1.6.0_18
CLASSPATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
exportJAVA_HOMECLASSPATHPATH
在三臺機器上創建相同的目錄路徑，為HDFS運行準備環境，比如在/data目錄下創建hadoop目錄，將其屬主改成hadoop，然后在下面如下創建4個目錄：
install：Hadoop源碼解壓后，放在該目錄下
name：HDFS的名字節點存放目錄
data01,data02：HDFS的數據存放目錄，當然也可以是一個。
tmp：臨時空間
注意：name目錄只存放在master上，且權限為755，否則會導致后面的格式化失敗。

編輯Hadoop文件系統HDFS配置文件，所有節點都要保持一致，共有四個：
core-site.xml:核心配置
hdfs-site.xml：站點多項參數配置
masters：主節點，在HDFS中就是Namenode的名稱
slaves：數據節點（Datanode）名稱

各個配置文件舉例
核心配置：core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

站點節點配置：hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.name.dir</name> <value>/data/hadoop/name</value> </property> <property> <name>dfs.data.dir</name> <value>/data/hadoop/data01,/data/hadoop/data02</value> </property> <property> <name>dfs.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> </configuration>

主節點名稱：masters
master

數據節點名稱：slaves
master
slave01
slave02
注意：(1)如需要，可以在hadoop-env.sh中配置JAVA_HOME變量，比如：
exportJAVA_HOME=/usr/java/jdk1.6.0_18

(2)保證Hadoop文件系統各個節點上配置文件的一致性。
初始化namenode節點
登錄到namenode上，cd/data/hadoop/install/bin，然后格式化Image文件的存儲空間：
./hadoopnamenode-format
如果出錯，就查看/data/hadoop/install/logs下的日志文件。

啟動HDFS服務
在/data/hadoop/install/bin下有很多命令，
*start-all.sh啟動所有的Hadoop守護，包括namenode,datanode，jobtracker，tasktrack，secondarynamenode。
*stop-all.sh停止所有的Hadoop。
*start-mapred.sh啟動Map/Reduce守護，包括Jobtracker和Tasktrack。
*stop-mapred.sh停止Map/Reduce守護
*start-dfs.sh啟動HadoopDFS守護，Namenode和Datanode。
*stop-dfs.sh停止DFS守護

簡單使用
創建目錄：./hadoopdfs-mkdirtest
查看目錄：./hadoopdfs-ls
drwxr-xr-x-hadoopsupergroup02010-03-0421:27/user/hadoop/test
拷貝文件：./hadoopdfs-put/etc/servicestest，即把本地的文件存放到HDFS中

WEB界面
HDFS啟動后，可以通過WEB界面來查看，缺省端口為50070，比如：http://master:50070/
即可查看整個HDFS的狀態以及使用統計。
對于Mapreduce的WEB界面，缺省端口是50030。

感謝各位的閱讀，以上就是“Hadoop文件系統怎么安裝”的內容了，經過本文的學習后，相信大家對Hadoop文件系統怎么安裝這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！