您好,登錄后才能下訂單哦!
這篇文章主要介紹了CentOS 6.4如何安裝Hadoop-2.5.1完全分布式集群,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
環境介紹:
在兩臺裝有CentOS 6.4(32位)的服務器上安裝Hadoop-2.5.1分布式集群(2臺機器,主要試驗用)。
1.修改主機名和/etc/hosts文件
1)修改主機名(非必要)
vim /etc/sysconfig/network
HOSTNAME=XXX
重啟后生效。
2)/etc/hosts是ip地址和其對應主機名文件,使機器知道ip和主機名對應關系,格式如下:
#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer
2.配置免密碼登陸SSH
1)生成密鑰:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
以上是兩個單引號。
2)將id_dsa.pub(公鑰)追加到授權的key中:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3)將認證文件復制到其它節點上:
scp ~/.ssh/authorized_keys hadooper@192.168.1.241:~/.ssh/
第一次要確認連接,輸入yes即可。
但我的仍要求輸入密碼,原因是.ssh和authorized_keys權限不對,具體見:http://www.linuxidc.com/Linux/2014-10/107762.htm
3.各節點上安裝jdk
1)選擇的版本是jdk-6u27-linux-i586.bin,下載地址:http://pan.baidu.com/s/1dDGi5QL
2)上傳到hadooper用戶目錄下,添加執行權限
chmod 777 jdk-6u27-linux-i586.bin
3)安裝
./jdk-6u27-linux-i586.bin
4)配置環境變量:vi /etc/profile加入以下三行
#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH
5)執行source /etc/profile使環境變量的配置生效
6)執行java –version查看jdk版本,驗證是否成功。
4. Hadoop安裝
每臺節點都要安裝hadoop。上傳hadoop-2.5.1.tar.gz到用戶hadooper目錄下。
1)解壓
tar -zvxf hadoop-2.5.1.tar.gz
2)添加環境變量:
# vim /etc/profile,尾部添加如下
export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
設置立即生效:
source /etc/profile
3)修改Hadoop配置文件
(1)core-site.xml
fs.defaultFS
hdfs://MasterServer:9000
(2)hdfs-site.xml
dfs.replication
3
(3)mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
MasterServer:10020
mapreduce.jobhistory.webapp.address
MasterServer:19888
jobhistory是Hadoop自帶了一個歷史服務器,記錄Mapreduce歷史作業。默認情況下,jobhistory沒有啟動,可用以下命令啟動:
sbin/mr-jobhistory-daemon.sh start historyserver
(4)yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.address
MasterServer:8032
yarn.resourcemanager.scheduler.address
MasterServer:8030
yarn.resourcemanager.resource-tracker.address
MasterServer:8031
yarn.resourcemanager.admin.address
MasterServer:8033
yarn.resourcemanager.webapp.address
MasterServer:8088
(5)slaves
SlaveServer
(6)分別在hadoop-env.sh和yarn-env.sh中添加JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
5.運行Hadoop
1)格式化
hdfs namenode –format
2)啟動Hadoop
start-dfs.sh
start-yarn.sh
也可以用一條命令:
start-all.sh
3)停止Hadoop
stop-all.sh
4)jps查看進程
7692 ResourceManager
8428 JobHistoryServer
7348 NameNode
14874 Jps
7539 SecondaryNameNode
5)通過瀏覽器查看集群運行狀態
(1)http://192.168.1.67:50070
(2)http://192.168.1.67:8088/
(3)http://192.168.1.67:19888
6. 運行Hadoop自帶的wordcount示例
1)建立輸入文件:
echo "My first hadoop example. Hello Hadoop in input. " > input
2)建立目錄
hadoop fs -mkdir /user/hadooper
3)上傳文件
hadoop fs -put input /user/hadooper
4)執行wordcount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /user/hadooper/input /user/hadooper/output
5)查看結果
hadoop fs -cat /user/hadooper/output/part-r-00000
Hadoop 1
My 1
example.Hello 1
first 1
hadoop 1
in 1
input. 1
感謝你能夠認真閱讀完這篇文章,希望小編分享的“CentOS 6.4如何安裝Hadoop-2.5.1完全分布式集群”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。