什么是Hadoop集群動態擴容

今天就跟大家聊聊有關什么是Hadoop集群動態擴容，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

1、基礎準備

在基礎準備部分，主要是設置 hadoop 運行的系統環境

修改新機器系統 hostname（通過/etc/sysconfig/network 進行修改）

[root@node-4 ~]# cat /etc/sys conf 1g/network

NE TWORKING=yes

HOS TNAME=node -4

[r oot@node-4 ~ ] #

修改 hosts 文件，將集群所有節點 hosts 配置進去（集群所有節點保持hosts文件統一）

rootenode-1 -]# cat /etc/hosts

127.0.0.1   localhost localhost. localdomain localhost4 localhost4. local domain4

: :1        localhost localhost. localdomain localhost6 localhost6. local domain6

192.168.227.151 node-1

192.168.227.152 node-2

192.168.227.153 node-3

192.168.227.154 node-4

rootenode-1 ~]#

設置 NameNode 到 DataNode 的免密碼登錄（ssh-copy-id 命令實現）

修改主節點 slaves 文件，添加新增節點的 ip 信息（集群重啟時配合一鍵啟動腳本使用）

[root@node-1 J]# vim /export/servers/hadoop-2 .6. 0-cdh6.14.0/etc/hadoop/s laves

node-1

node-2

node-3

node-4

在新的機器上上傳解壓一個新的hadoop安裝包，從主節點機器上將hadoop的所有配置文件，scp到新的節點上。

2、添加datanode

在namenode所在的機器的/export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop 目錄下創建 dfs.hosts 文件

cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop

vim dfs.hosts

添加如下主機名稱（包含新服役的節點）

node-1

node-2

node-3

node-4

在 namenode 機器的 hdfs-site.xml 配置文件中增加 dfs.hosts 屬性

cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop vim hdfs-site.xml

<property>

    <name>dfs.hosts</name>

    <value>/export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop/dfs.hosts</value>

</property>

dfs.hosts 屬性的意義：命名一個文件，其中包含允許連接到namenode的主機列表。必須指定文件的完整路徑名。如果該值為空，則允許所有主機。相當于一個白名單，也可以不配置。

在新的機器上單獨啟動datanode：hadoop-daemon.sh start datanode

[root@node-4 ~]# hadoop-daemon.sh start datanode

starting datanode: logging to /export /servers/hadoop-2.6.0-cdh614 .0/ lops /hadoop root datanode -node-4 out

[root@node-4 ~]#

刷新頁面就可以看到新的節點加入進來了

3、datanode負載均衡服務

新加入的節點，沒有數據塊的存儲，使得集群整體來看負載還不均衡。因此最后還需要對hdfs負載設置均衡，因為默認的數據傳輸帶寬比較低，可以設置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

默認balancer的threshold為10%，即各個節點與集群總的存儲使用率相差不超過10%，我們可將其設置為5%。然后啟動Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可。

4、添加nodemanager

在新的機器上單獨啟動 nodemanager：

yarn-daemon.sh start nodemanager

在ResourceManager，通過yarn node -list查看集群情況

看完上述內容，你們對什么是Hadoop集群動態擴容有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。