中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

發布時間:2021-11-23 16:21:18 來源:億速云 閱讀:157 作者:柒染 欄目:大數據

這篇文章將為大家詳細講解有關Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。

我們都知道namenode是用來存儲元數據的,他并不是用來存儲真正的數據。

那么他的元數據怎么進行持久化呢!

FsImage

文件系統的鏡像文件叫fsImage,它包括了文件和塊信息的映射,還有文件系統的屬性信息。

datanode啟動的過程中 首先會向namenode注冊塊信息,這些塊信息就是存儲在namenode的FsImage中的。

EditLog

對于文件系統的每一次更改,例如,增加文件,刪除文件等操作都會被寫入Edit Log 這個問題件中。

同樣的,修改文件系統的副本因子配置,也會被寫入Edit Log文件。

EditLog 文件和fsImage文件都存儲在文件系統的本地路徑中。

namenode在內存中存儲了,整個文件系統的鏡像和文件塊映射信息。

元數據是可以被合并的,因此namenode有4GB的內存,就足以存儲巨量的文件和目錄。

namenode啟動過程中發生了什么呢?

1、從硬盤讀取FsImage 和EditLog文件。

2、將EditLog文件中的所有操作信息寫入FsImage中。產生一個新的FsImage文件- - - -這一操作被稱為checkpoint

3、產生一個新的空的EditLog文件

namenode啟動的時候checkponit

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

namenode運行過程中和fsImage 與 EditLog的交互操作

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

SecondaryNamenode
很多人理解的SecondaryNamenode的作用就是對namenode的備份,當namenode宕機了, 可以快速用secondarynamenode 恢復回來。
其實 SecondaryNamenode的重要作用,是定期合并FsImage和EditLog文件。

考慮一個場景。當我們的namenode宕機了。我們需要讀取EditLog文件合并fsImage文件做恢復。如果這個EditLog文件,非常非常大,那么可能僅僅是讀EditLog文件,就需要很長很長時間,以至于我們的故障恢復效果很差。
所以SecondaryNameNode,定期合并FsImage和EditLog文件,并替換namenode上的舊的FsImage文件,生成新的EditLog文件,替換原來的舊的EditLog文件。這樣可以保證SecondaryNameNode上的文件為最近的信息。當發生宕機時候,可以快速恢復。
Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

關于Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

行唐县| 屏山县| 安徽省| 永丰县| 庄河市| 泉州市| 岑巩县| 三穗县| 三亚市| 克东县| 夏津县| 乳山市| 新乡县| 丰顺县| 乌拉特后旗| 山东省| 元氏县| 新蔡县| 阳高县| 大邑县| 五原县| 岑溪市| 陈巴尔虎旗| 达孜县| 绥芬河市| 玛纳斯县| 茶陵县| 中西区| 徐水县| 池州市| 龙川县| 马关县| 两当县| 青海省| 图木舒克市| 涞水县| 页游| 大埔区| 昭通市| 潼南县| 德清县|