HDFS的容錯和文件的讀寫

大數據交流群QQ:494721467

HDFS容錯：

如何使文件體統能夠容忍節點故障，并且不丟失任何的數據也就是HDFS的容錯機制

1、心跳機制：

namenode 和datanode是維護心跳的檢測。可能網絡故障，導致namenode接收不到datanode的心跳包，namenode就不會將任何新的I/O操作派發給那個

Datanode,所以datanode上的數據是無效的。namenode會檢測到文件塊的副本數目小于設置值，如果小于就自動開始復制新的副本并分發到其他的datanode

節點上。

2、檢查文件的塊的完整性

HDFS會檢索到文件或者某個節點塊的大小是否一致，不一致，會從其他的Datanode節點上獲取該快的副本

3、集群的負載均衡

節點的丟失或者增加會使數據分布不均，當某個Datanode節點的空閑空間大于一個臨界點值時，HDFS會自動從其他節點把數據遷移過來

4、namenode上的FSlmage 和Edit log文件

FSlmage 和Edit log文件是HDFS上的核心數據結構。當他們損壞HDFS將會失效

5、文件的刪除

刪除一個文件，并不會馬上從namenode上移動，設置的時間由hdfs-site.xml問價的配置，fs.trash.interval決定設置時間（時間單位為秒）

-------------------------------------------------------------------------

HDFS讀取文件和寫入文件

1、hdfs會將文件的切片成塊的存儲到datanod各個節點中，而文件的數據塊的布局是由namenode和hdfs-site.xml中配置dfs.replication一起決定的。

dfs.replication表示該文件在hdfs中的副本數，它默認為3。

2、hdfs客戶端想要讀取文件，首先要訪問namenode,并告訴它要讀取的文件，在這之前，hdfs會對客戶的身份信息進行驗證：一種是通過信任的客戶端，

由其指定的用戶名，另一種是通過kerberos等強制驗證機制來完成。訪問文件要檢查文件的所有者和訪問權限。如果文件存在用戶對它有訪問權限，

nanmenode會提供文件的信息及塊的datanode列表。hdfs客戶端就可以訪問最合適的datanode，直到文件hdfs動關閉文件流

寫入文件：

hdfs客戶端通過hdfs相關的api發送請求，打開一個要寫入的文件，這個請求將會被namenode接收到，并建立該文件的元數據，但新建的文件元數據和任何

數據塊沒有關聯。客戶端收到提示成功打開文件時，就開始往里面寫數據，當客戶端將數據寫入流時。數據會被拆成數據包，并將數據包保存在內存的隊

列中。客戶端有個獨立線程，它從隊列中讀取數據包，并向namenode請求一組datanode列表，以便寫入下個數據塊的多個副本。hdfs直接連接到列表，從

而建立了數據塊的管道，寫入到磁盤中。