hadoop如何實現datanode磁盤擴容

這篇文章將為大家詳細講解有關hadoop如何實現datanode磁盤擴容，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Ambari HDFS Alert DataNode 磁盤空間不夠，DataNode 磁盤擴容支持熱插拔，我們只需要將擴容磁盤配置到dfs.datanode.data.dir即可。

步驟：

注意：如果是ambari部署的hadoop集群，則必須從ambari界面更改，直接修改文件無效，重新啟動添加的就沒有了

1. 修改 hdfs-site.xml 配置文件，添加新增的磁盤目錄：用逗號分隔

   <property>
     <name>dfs.datanode.data.dir</name>
     <value>/hadoop/hdfs/data,/data/hadoop/hdfs</value>
   </property>

   
   

2. 修改 yarn-site.xml 配置文件，添加新增的磁盤目錄：

   <property>
     <name>yarn.nodemanager.local-dirs</name>
     <value>/hadoop/yarn/local,/data/hadoop/yarn/local</value>
   </property>
   <property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>/hadoop/yarn/log,/data/hadoop/yarn/log</value>
   </property>

   
   

3. 重啟或刷新

• 如果只為datanode新增磁盤，可不重啟datanode，使用reconfig刷新配置即可

  # 開始刷新
  # $ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] start
  $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 start
  Started reconfiguration task on node [10.1.xxx.xxx:8010]
  
  # 查看刷新進度
  #$ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] status
  $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 status
  Reconfiguring status for node [10.1.xxx.xxx:8010]: started at Fri Aug 14 09:19:34 CST 2020 and finished at Fri Aug 14 09:19:34 CST 2020.

  
  

• 如果是在ambari中修改，修改完后，按提示重啟組件即可

• 如果直接hadoop集群修改，配置同步到其它節點后重啟datanode和nodemanager即可。

關于“hadoop如何實現datanode磁盤擴容”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。