HDFS總結

                                                  HDFS最近學習總結

一. hdfs整體運行機制：

1. 客戶把一個文件存入HDFS中，其實HDFS會把文件切成塊進行存儲，會分散存儲到N臺Linux系統中（存儲文件塊的角色是:datanode）(重要的是切塊的行為是由客戶端決定的)
2. 一旦文件被切塊切塊存儲，HDFS一定要有個機制，需要記錄每一個文件的切塊信息和每個切塊具體的存儲機器。（記錄塊信息的是namenode）
3. 需要保證數據的安全性，HDFS將每一個塊都在集群中存放多個副本（副本數是由存儲時的客戶端決定的）。
4. 總結 : 一個HDFS系統是由一臺運行了namenode的服務器和N臺運行了datanode的服務器組成。

二. 知識點：

1. 元數據由namenode管理
2. 元數據：HDFS的目錄結構及每一個文件的塊信息（塊的id，副本數量，存放位置等）

三. namenode元數據記錄位置 ：

1. namenode把實時的完整元數據存放到內存中
2. namenode還會在磁盤中存儲內存元數據在某個時間上的鏡像文件fsimage
3. namenode會把讓元數據變化的客戶端操作記錄（類似添加）在edits日志文件中。

四. secondarynamenode 責任 ：

1. secondarynamenode會定期從namenode上下載fsimage鏡像和新生成的edits日志，然后加載fsimage鏡像到內存中，然后順序解析edits文件，對內存中的元數據對象進行修改（整合）整合完成后，將內存元數據序列化成一個新的fsimage，并將這個fsimage鏡像文件上傳給namenode。這個過程叫checkpoint
2. secondary namenode每次做checkpoint操作時，第一次checkpoint需要下載fsimage，以后就不用下載了，因為自己的機器上就已經有了。
3. 總結：secondarynamenode 會把fsimage 和 edits 下載過到自己的機器上，進行序列化成元數據在傳給namenode,可以記性單點故障處理。所以 secondarynamenode最好也配置下。