hadoop2.5.1如何安裝到虛擬機

這篇文章主要為大家展示了“hadoop2.5.1如何安裝到虛擬機”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“hadoop2.5.1如何安裝到虛擬機”這篇文章吧。

1.虛擬機安裝

系統版本 RHEL6.3

2.虛擬機ip配置

采用 共享方式(nat) : 

默認:

使用vmnet8 將虛擬機設置成使用dhcp方式上網,windows下選擇"自動獲取ip",linux下開啟dhcp服務即可。   
 手動設置: 

ip設置與vmnet8同網段，   
 網關設置成vmnet8的網關，   
 DNS服務器設置與主機相同，   
 實現虛擬機<--->主機虛擬機<---->互聯網 通信。

vim /etc/sysconfig/network-scripts/ifcfg-eth0

......

BOOTPROTO=static

ONBOOT="yes"

IPADDR=192.168.234.100 --設置為網關同ip段

NETMASK=255.255.255.0

GATEWAY=192.168.234.2--  vmnet8的網關

......

最后不要忘了設置DNS   echo "nameserver 8.8.8.8">

重啟reboot

設置好了就可以用SecureCRT查看了,并且能夠ping通外網  
 

yum源配置

查看文檔  使用CentOS的yum源進行升級或軟件安裝 

rpm -qa |grep yum 查看yum安裝情況

rpm -qa |grep yum | xargs rpm -e --nodeps 卸載rhel原有yum

安裝yum軟件包 

1. #rpm -ivh python-iniparse-0.3.1-2.1.el6.noarch.rpm 2. # rpm -ivh yum-metadata-parser-1.1.2-16.el6.x86_64.rpm 

3. #rpm -ivh yum-3.2.29-30.el6.centos.noarch.rpm yum-plugin-fastestmirror-1.1.3 0-14.el6.noarch.rpm 

由于centos官網6.3版的不再更新且文件不存在，所以選用的是 centos官網 6.5版本的yum相關包

同時下載163的倉庫， http://mirrors.163.com/.help/CentOS6-Base-163.repo 修改$releaseser為6.5

刪除/etc/yum.repos.d/rhel-source.repo

使用centos-163.repo替換

scp  centos-163.repo  root@192.168.234.112 :/etc/yum.repos.d/

安裝rz+sz方便上傳下載文件到本地

yum -y install lrzsz 

傳輸所有的依賴文件到其他服務器

scp -r dep   root@192.168.234.112 :/home/hadoop/

安裝java，并配置環境變量

java -version 查看現有java版本

rpm -qa|grep java 查看java安裝包

rpm -qa|grep java | xargs rpm -e --nodeps   卸載java安裝包

vim /etc/profile 添加java環境變量配置

#set java path

JAVA_HOME=/usr/java/jdk1.7.0_45

JRE_HOME=/usr/java/jdk1.7.0_45/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

source /etc/profile 應用配置

其他機器使用相同配置

scp /etc/profile root@192.168.234.112:/etc/profile

配置host

192.168.234.114  namenode

192.168.234.111 datanode1

192.168.234.112 datanode2

192.168.234.113 datanode3 

其他namenode和datanode配置一樣

scp /etc/hosts root@192.168.234.112:/etc/hosts

配置ssh

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp到datanode

安裝hadoop

tar -xvf dep/hadoop/hadoop-2.5.1.tar.gz

配置hadoop

http://blog.csdn.net/greensurfer/article/details/39450369

/home/hadoop/hadoop-2.5.1/etc/hadoop中的slaves文件添加數據節點

datanode1

datanode2

datanode3

配置hostname

格式化namenode報錯處理方法

http://blog.csdn.net/shirdrn/article/details/6562292

/etc/sysconfig/network  中的hostname修改掉，并重啟網絡服務生效

service network restart

修改hostname的三種方式: http://www.cnblogs.com/yuechaotian/archive/2013/02/20/2918175.html

格式化文件系統

bin/hdfs namenode -format

http://192.168.234.114:50070/ 一定要記得關閉namenode的防火墻，否則訪問不了

service iptables stop/status

http://192.168.234.114:8088/

但啟動./start-dfs.sh一直會有個警告

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Starting namenodes on [namenode]

hadoop fs -mkdir /input命令報錯

開啟debug模式

export HADOOP_ROOT_LOGGER=DEBUG,console

可以看到是因為glibc版本太低的原因

http://f.dataguru.cn/thread-376971-1-1.html

有兩種解決方法

1.在glibc2.12環境下重新編譯hadoop

2.安裝glibc2.14或以上版本

這里我采用第二種

升級glibc到2.14以上， 升級前 千萬 不要卸載 glibc ，卸載后所有命令都失效了， 重啟還報錯

kernel panic - not attempted to kill init， 害得我只能重裝系統了，又搞了半天

重裝namenode之后， 從datanode傳 hadoop 過去

格式化文件系統后重啟，否則會找不到數據節點

1. 下載 

glibc-2.15-60.el6.x86_64.rpm 

glibc-common-2.15-60.el6.x86_64.rpm

安裝

rpm -ivh glibc-2.15-60.el6.x86_64.rpm glibc-common-2.15-60.el6.x86_64.rpm --replacefiles

不加 --replacefiles會報文件沖突的錯

重新運行./start-dfs.sh，不再報警了

hadoop fs -mkdir /input 創建文件夾

hadoop fs -ls / 展示文件列表

Hadoop報錯：NoRouteToHostException: No route to host

http://blog.csdn.net/duguduchong/article/details/8471314

關閉datanode數據節點的防火墻

測試mapreduce

參考  http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html

創建文件夾input,創建測試文件test1,test2

mkdir input && cd input

echo "a b c d e">

echo "a b c d f" > test2

hadoop fs -put input /

可以看到已經加入hdfs中

運行WordCount

cd /home/hadoop/hadoop-2.5.1/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.5.1.jar wordcount /input /output

自己打的包

hadoop jar wordct.jar org.WordCount /input /output

hadoop fs -cat /output/part-r-00000

以上是“hadoop2.5.1如何安裝到虛擬機”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！