Hadoop的Secondary NameNode是什么

這篇文章主要介紹“Hadoop的Secondary NameNode是什么”，在日常操作中，相信很多人在Hadoop的Secondary NameNode是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop的Secondary NameNode是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

Secondary NameNode從它的名字上來看，給人的感覺是NameNode的備份。但實際上不是這樣。那到底Secondary NameNode在HDFS中扮演的是什么角色呢？

從名字上來看Secondary NameNode與NameNode，都包含著NameNode，這兩者是不是存在某種關系呢，先來看下NameNode是干什么的。

NameNode

NameNode主要是用來保存HDFS的元數據信息，比如命名空間信息，快信息等。當它運行的時候，這些信息會保存在內存中。同時這部分信息也會持久化到磁盤上。

• fsimage:是在NameNode啟動時對整個文件系統的快照

• edits:在NameNode啟動后，對文件系統改動序列

只有在NameNode重啟時，edits才會合并到fsimage文件中，從而得到一個文件系統的最新快照。但是在產品集群中NameNode是很少重啟的，這也意味著當NameNode運行了很長時間后，edits文件會變得很大。就會面臨如下問題：

1. edits文件會變的很大，怎么去管理這個文件是一個挑戰

2. NameNode的重啟會花費很長時間，因為有很多edits中改動要合并到fsimage文件上。

3. 如果NameNode掛掉了，就會丟失了很多改動，因為此時的fsimage文件非常舊。

這個時候Secondary NameNode就出場了，Secondary NameNode可以來幫助解決上面問題，它的職責就是用來合并NameNode的edits到fsimage中。

Secondary NameNode

HDFS文件系統的寫操作不是直接被修改到fsimage中，而是edits中，Secondary NameNode節點負責將兩者進行整合。

checkpoint過程如下：

1. Secondary Namenode請求Namenode停止使用edits文件，暫時將新的寫操作記錄到一個新文件中，如edits.new。

2. Secondary Namenode節點從Namenode節點獲取fsimage和edits文件（采用HTTP GET）

3. Secondary Namenode將fsimage文件載入到內存，逐一執行edits文件中的操作，創建新的fsimage文件

4. Secondary Namenode將新的fsimage文件發送回Namenode（使用HTTP POST）

5. Namenode節點將從Secondary Namenode節點接收的fsimage文件替換舊的fsimage文件，用步驟1產生的edits.new文件替換舊的edits文件（即改名）。同時更新fstime文件來記錄檢查點執行的時間
   注：從Hadoop0.21.0開始，輔助Namenode已經放棄不用，由checkpoint節點取而代之，功能不變。新版本同時引入一種新的Namenode，名為BackupNode。

Secondary NameNode的整個目的在HDFS中提供一個Checkpoint Node，它只是NameNode的一個助手節點

現在，我們明白Secondary NameNode所做的是在文件系統這設置一個Checkpoint來幫助NameNode更好的工作；它不是取代NameNode，也不是NameNode的備份。

Secondary NameNode的檢查點進程啟動，是由兩個配置參數控制的：

• fs.checkpoint.period，指定連續兩次檢查點的最大時間間隔， 默認值是1小時。

• fs.checkpoint.size定義了edits日志文件的最大值，一旦超過這個值會導致強制執行檢查點（即使沒到檢查點的最大時間間隔）。默認值是64MB。

關于NameNode是什么時候將改動寫到edit logs中的？
這個操作實際上是由DataNode的寫操作觸發的，當我們往DataNode寫文件時，DataNode會跟NameNode通信，告訴NameNode什么文件的第幾個block放在它那里，NameNode這個時候會將這些元數據信息寫到edit logs文件中。

到此，關于“Hadoop的Secondary NameNode是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！