中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

CentOS 6.4如何安裝Hadoop-2.5.1完全分布式集群

發布時間:2021-11-15 16:28:00 來源:億速云 閱讀:93 作者:小新 欄目:開發技術

這篇文章主要介紹了CentOS 6.4如何安裝Hadoop-2.5.1完全分布式集群,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

環境介紹

在兩臺裝有CentOS 6.4(32位)的服務器上安裝Hadoop-2.5.1分布式集群(2臺機器,主要試驗用)。

1.修改主機名和/etc/hosts文件

1)修改主機名(非必要)

vim /etc/sysconfig/network
HOSTNAME=XXX

重啟后生效。

2)/etc/hosts是ip地址和其對應主機名文件,使機器知道ip和主機名對應關系,格式如下:

#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer

2.配置免密碼登陸SSH

1)生成密鑰:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

以上是兩個單引號。

2)將id_dsa.pub(公鑰)追加到授權的key中:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3)將認證文件復制到其它節點上:

scp ~/.ssh/authorized_keys hadooper@192.168.1.241:~/.ssh/ 

第一次要確認連接,輸入yes即可。

但我的仍要求輸入密碼,原因是.ssh和authorized_keys權限不對,具體見:http://www.linuxidc.com/Linux/2014-10/107762.htm

3.各節點上安裝jdk
1)選擇的版本是jdk-6u27-linux-i586.bin,下載地址:http://pan.baidu.com/s/1dDGi5QL
2)上傳到hadooper用戶目錄下,添加執行權限

chmod 777 jdk-6u27-linux-i586.bin 

3)安裝

./jdk-6u27-linux-i586.bin 

4)配置環境變量:vi /etc/profile加入以下三行

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH

5)執行source /etc/profile使環境變量的配置生效
6)執行java –version查看jdk版本,驗證是否成功。

4. Hadoop安裝

每臺節點都要安裝hadoop。上傳hadoop-2.5.1.tar.gz到用戶hadooper目錄下。

1)解壓

tar -zvxf hadoop-2.5.1.tar.gz

2)添加環境變量:
# vim  /etc/profile,尾部添加如下
export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

設置立即生效:

source /etc/profile

3)修改Hadoop配置文件

(1)core-site.xml


    fs.defaultFS
    hdfs://MasterServer:9000

(2)hdfs-site.xml

  
    dfs.replication 
    3 
 

(3)mapred-site.xml


    mapreduce.framework.name
    yarn
 
    mapreduce.jobhistory.address
    MasterServer:10020
 
  mapreduce.jobhistory.webapp.address
  MasterServer:19888
        

jobhistory是Hadoop自帶了一個歷史服務器,記錄Mapreduce歷史作業。默認情況下,jobhistory沒有啟動,可用以下命令啟動:

sbin/mr-jobhistory-daemon.sh start historyserver

(4)yarn-site.xml


    yarn.nodemanager.aux-services 
    mapreduce_shuffle 
  
    yarn.resourcemanager.address 
    MasterServer:8032 
  
    yarn.resourcemanager.scheduler.address 
    MasterServer:8030 
  
    yarn.resourcemanager.resource-tracker.address 
    MasterServer:8031 
  
    yarn.resourcemanager.admin.address 
    MasterServer:8033 
  
    yarn.resourcemanager.webapp.address 
    MasterServer:8088 
 

(5)slaves

SlaveServer 

(6)分別在hadoop-env.sh和yarn-env.sh中添加JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27

5.運行Hadoop
1)格式化

hdfs namenode –format

2)啟動Hadoop

start-dfs.sh
start-yarn.sh

也可以用一條命令:

start-all.sh 

3)停止Hadoop

stop-all.sh 

4)jps查看進程

7692 ResourceManager
8428 JobHistoryServer
7348 NameNode
14874 Jps
7539 SecondaryNameNode

5)通過瀏覽器查看集群運行狀態

(1)http://192.168.1.67:50070 

(2)http://192.168.1.67:8088/

(3)http://192.168.1.67:19888

6. 運行Hadoop自帶的wordcount示例

1)建立輸入文件:

echo "My first hadoop example. Hello Hadoop in input. " > input 

2)建立目錄

hadoop fs -mkdir /user/hadooper 

3)上傳文件

hadoop fs -put input /user/hadooper 

4)執行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /user/hadooper/input /user/hadooper/output 

5)查看結果

hadoop fs -cat /user/hadooper/output/part-r-00000

Hadoop 1
My 1
example.Hello 1
first 1
hadoop 1
in 1
input. 1

感謝你能夠認真閱讀完這篇文章,希望小編分享的“CentOS 6.4如何安裝Hadoop-2.5.1完全分布式集群”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

革吉县| 安塞县| 团风县| 拜城县| 武汉市| 墨竹工卡县| 贵德县| 安国市| 崇明县| 六安市| 繁昌县| 长兴县| 乌拉特中旗| 厦门市| 晋中市| 娱乐| 宽甸| 民县| 佛教| 宜宾县| 宝坻区| 姚安县| 蚌埠市| 潼南县| 邛崃市| 噶尔县| 乌鲁木齐县| 凤山县| 大宁县| 嵊州市| 友谊县| 许昌市| 宁乡县| 甘洛县| 吉木乃县| 汉沽区| 泾川县| 贡山| 米脂县| 彰化县| 洛川县|