如何搭建hadoop

本篇內容介紹了“如何搭建hadoop”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

搭建hadoop環境(centos7)

第 1 節 虛擬機環境準備

• (1)靜態IP配置 編輯 vi /etc/sysconfig/network-scripts/ifcfg-ens33

1. 三臺虛擬機（靜態IP，關閉防?墻，修改主機名，配置免密登錄，集群時間同步）

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=84435f7d-0321-4f1a-817f-0f9f1cf39d43
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.101
NETMASK=255.255.255.0
GATEWAY=192.168.80.2
DNS1=8.8.8.8
DNS2=8.8.4.4

** systemctl restart network

(2)關閉防火墻

systemctl status firewalld.service 查看firewall狀態
systemctl stop firewalld.service 停?firewall
systemctl disable firewalld.service 禁?firewall開機啟動
關閉本機電腦防?墻后，可以在本地ping 虛擬機ip

(2.1)三態機器關閉selinux

安全增強型 Linux（Security-Enhanced Linux）簡稱 SELinux，它是一個 Linux 內核模塊，也是 Linux 的一個安全子系
統。
關閉安全策略否則SELinux服務開啟后導致SSH連接異常。
修改文件
vi /etc/selinux/config

(3)修改主機名

vi /etc/sysconfig/network

(4) 配置hostname與IP映射

(5)配置免密登錄

前提：配置hostname與IP映射 
第一步：在三臺機器器執行行以下命令，生成公鑰與私鑰

第二步：將centos7-2和centos7-3的公鑰拷貝到centos7-1

第三步：再將centos7-1的公鑰分發給centos7-2和centos7-3 

第一步: ssh-keygen -t rsa 在centos7-1和centos7-2和centos7-3上面都要執行，產生公鑰和私鑰 

第二步：在centos7-1 ,centos7-2和centos7-3上執行: ssh-copy-id centos7-1 將公鑰拷貝到centos7-1上面去 

第三步： scp authorized_keys centos7-2:$PWD scp authorized_keys centos7-3:$PWD

使用ssh完成免密登錄即可 （ssh centos7-2）

(6)集群時間同步

6.1. 查看本機當前時間--date
6.2. 設置本機當前時間
date -s "2018-08-17 20:08:09"
6.3. 通過命名和時鐘服務器同步時間:
網絡計時協議（NTP） : net time protocal
ntpdate us.pool.ntp.org 
6.4. 編輯定時任務
crontab -e
6.5) 定時任務內容如下
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
每隔1分鐘執行指令一次

• 
  

2. 在/opt?錄下創建?件夾

mkdir -p /opt/lagou/software --軟件安裝包存放?錄
mkdir -p /opt/lagou/servers --軟件安裝?錄

• 3 Hadoop下載地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/

第 2 節 集群規劃

第 3 節 安裝Hadoop（前提是配置好jdk的環境）

• 登錄linux121節點；進?/opt/lagou/software,解壓安裝?件到/opt/lagou/servers

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers

• 查看是否解壓成功

ll /opt/lagou/servers/hadoop-2.9.2

• 添加Hadoop到環境變量 vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

• 使環境變量?效

source /etc/profile

• 驗證hadoop

hadoop version

• hadoop 目錄

drwxr-xr-x 2 root root    194 Nov 13  2018 bin
drwxr-xr-x 3 root root     17 Oct 31 01:09 data
drwxr-xr-x 3 root root     20 Nov 13  2018 etc
drwxr-xr-x 2 root root    106 Nov 13  2018 include
drwxr-xr-x 3 root root     20 Nov 13  2018 lib
drwxr-xr-x 2 root root    239 Nov 13  2018 libexec
-rw-r--r-- 1 root root 106210 Nov 13  2018 LICENSE.txt
drwxr-xr-x 3 root root   4096 Nov  2 07:20 logs
-rw-r--r-- 1 root root  15917 Nov 13  2018 NOTICE.txt
-rw-r--r-- 1 root root   1366 Nov 13  2018 README.txt
drwxr-xr-x 3 root root   4096 Nov 13  2018 sbin
drwxr-xr-x 4 root root     31 Nov 13  2018 share

1. bin?錄:對Hadoop進?操作的相關命令，如hadoop,hdfs等
2. etc?錄：Hadoop的配置?件?錄，?hdfs-site.xml,core-site.xml等
3. lib?錄：Hadoop本地庫（解壓縮的依賴）
4. sbin?錄：存放的是Hadoop集群啟動停?相關腳本，命令
5. share?錄：Hadoop的?些jar,官?案例jar，?檔等

3.1 集群配置

(Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置)

• HDFS集群配置

1. 將JDK路徑明確配置給HDFS（修改hadoop-env.sh）
2. 指定NameNode節點以及數據存儲?錄（修改core-site.xml）
3. 指定SecondaryNameNode節點（修改hdfs-site.xml）
4. 指定DataNode從節點（修改etc/hadoop/slaves?件，每個節點配置信息占??）

• MapReduce集群配置

1. 將JDK路徑明確配置給MapReduce（修改mapred-env.sh）
2. 指定MapReduce計算框架運?Yarn資源調度框架（修改mapred-site.xml）

• Yarn集群配置

1. 將JDK路徑明確配置給Yarn（修改yarn-env.sh）
2. 指定ResourceManager??節點所在計算機節點（修改yarn-site.xml）
3. 指定NodeManager節點（會通過slaves?件內容確定）

** 集群配置具體步驟：

HDFS集群配置

1.配置：hadoop-env.sh
將JDK路徑明確配置給HDFS

vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

2.指定NameNode節點以及數據存儲?錄（修改core-site.xml）
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
 <value>hdfs://linux121:9000</value>
</property>
<!-- 指定Hadoop運?時產??件的存儲?錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>

2.1.core-site.xml的默認配置：
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core default.xml

3.指定secondarynamenode節點(修改hdfs-site.xml)
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

<!-- 指定Hadoop輔助名稱節點主機配置 -->
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>linux123:50090</value>
</property>
<!--副本數量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

3.1官?默認配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop hdfs/hdfs-default.xml

4.指定datanode從節點(修改slaves?件，每個節點配置信息占??)
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/slaves

linux121
linux122
linux123

** 注意：該?件中添加的內容結尾不允許有空格，?件中不允許有空?。

MapReduce集群配置

1.指定MapReduce使?的jdk路徑（修改mapred-env.sh）
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

2. 指定MapReduce計算框架運?Yarn資源調度框架(修改mapred-site.xml)
2.1 mv mapred-site.xml.template mapred-site.xml
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml

<!-- 指定MR運?在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

2.2 mapred-site.xml默認配置

https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop mapreduce-client-core/mapred-default.xml

Yarn集群配置

1.指定JDK路徑
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

2.指定ResourceMnager的master節點信息(修改yarn-site.xml)

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux123</value>
</property>
<!-- Reducer獲取數據的?式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

2.1 yarn-site.xml的默認配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn default.xml

3. 指定NodeManager節點（slaves?件已修改）

** 注意

Hadoop安裝?錄所屬?戶和所屬?戶組信息，默認是501 dialout，?我們操作Hadoop集群的?戶使
?的是虛擬機的root?戶，
所以為了避免出現信息混亂，修改Hadoop安裝?錄所屬?戶和?戶組！！

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

3.2 分發配置

編寫集群分發腳本rsync-script

• rsync 遠程同步?具

rsync主要?于備份和鏡像。具有速度快、避免復制相同內容和?持符號鏈接的優點。

rsync和scp區別：?rsync做?件的復制要?scp的速度快，rsync只對差異?件做更新。scp是把所有? 件都復制過去。

3.2.1. 基本語法

rsync -rvl $pdir/$fname $user@$host:$pdir/$fname

3.2.2. 三臺虛擬機安裝rsync (執?安裝需要保證機器聯?)

yum install -y rsync

3.2.3. 把linux121機器上的/opt/lagou/software?錄同步到linux122服務器的root?戶下的/opt/?錄

rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software

3.2.4 分發腳本

#!/bin/bash

#1 獲取命令輸?參數的個數，如果個數為0，直接退出命令
paramnum= $#
if ((paramnum == 0 )) ;  then
echo  no params;
exit ;
fi
#2 根據傳?參數獲取?件名稱
p1= $1
file_name= `basename  $p1 `
echo  fname= $file_name
#3 獲取輸?參數的絕對路徑
pdir= `cd -P $(dirname  $p1 ) ;  pwd`
echo  pdir= $pdir
#4 獲取?戶名稱
user= `whoami`
#5 循環執?rsync
for ((host = 101 ; host < 104 ; host ++ )) ;  do
echo  ------------------- linux $host  --------------
rsync -rvl  $pdir / $file_name   $user @hadoop $host : $pdir
done

3.2.5 修改腳本 rsync-script 具有執?權限

[root@linux121 bin]$ chmod 777 rsync-script

3.2.6 調?腳本形式：rsync-script ?件名稱

[root@linux121 bin]$ rsync-script /home/root/bin

3.2.7 調?腳本分發Hadoop安裝?錄到其它節點

[root@linux121 bin]$ rsync-script /opt/lagou/servers/hadoop-2.9.2

第 4 節 啟動集群

** 注意：如果集群是第?次啟動，需要在Namenode所在節點格式化NameNode，?第?次不?執?格 式化Namenode操作！！

4.1 單節點啟動

[root@linux121 hadoop-2.9.2]$ hadoop namenode -format

格式化命令執行效果

1.在linux121上啟動NameNode

[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode
[root@linux121 hadoop-2.9.2]$ jps

2. 在linux121、linux122以及linux123上分別啟動DataNode

[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux121 hadoop-2.9.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode

[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux122 hadoop-2.9.2]$ jps
3190 DataNode
3279 Jps
[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux123 hadoop-2.9.2]$ jps
3237 Jps
3163 DataNode

3. web端查看Hdfs界?

http://linux121:50070/dfshealth.html#tab-overview

4. Yarn集群單節點啟動

[root@linux123 servers]# yarn-daemon.sh start resourcemanager
[root@linux123 servers]# jps
7881 ResourceManager
8094 Jps
[root@linux122 servers]# yarn-daemon.sh start nodemanager
[root@linux122 servers]# jps
8166 NodeManager
8223 Jps
[root@linux121 servers]# yarn-daemon.sh start nodemanager
[root@linux121 servers]# jps
8166 NodeManager
8223 Jps

4.2 集群群起

• 
  

1. 如果已經單節點?式啟動了Hadoop,可以先停?之前的啟動的Namenode與Datanode進程,如果 之前Namenode沒有執?格式化，這?需要執?格式化!!!!

hadoop namenode -format

2. 啟動HDFS

[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh
[root@linux121 hadoop-2.9.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode

[root@linux122 hadoop-2.9.2]$ jps
3218 DataNode
3288 Jps
[root@linux123 hadoop-2.9.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

3. 啟動YARN

[root@linux122 hadoop-2.9.2]$ sbin/start-yarn.sh

• 注意：NameNode和ResourceManger不是在同?臺機器，不能在NameNode上啟動 YARN，應該 在ResouceManager所在的機器上啟動YARN。

4.3 Hadoop集群啟動停?命令匯總

1. 各個服務組件逐?啟動/停?

(1)分別啟動/停?HDFS組件

hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode

(2) 啟動/停?YARN

yarn-daemon.sh start / stop resourcemanager / nodemanager

2. 各個模塊分開啟動/停?（配置ssh是前提）常?

(1) 整體啟動/停?HDFS

start-dfs.sh / stop-dfs.sh

(2) 整體啟動/停?YARN

start-yarn.sh / stop-yarn.sh

“如何搭建hadoop”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！