Java的Hadoop FileInputFormat實現類有哪些

這篇文章主要講解了“Java的Hadoop FileInputFormat實現類有哪些”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Java的Hadoop FileInputFormat實現類有哪些”吧！

思考

在運行MapReduce程序時，輸入的文件格式有很多，比如：基于行的日志文件、二進制格式文件、數據庫表等。那么，針對不同的數據類型，MapReduce是怎么讀取這些數據的呢？

FileInputFormat常見的接口實現類包括：TextInputFormat,KeyValueTextInputFormat,NLineInputFormat,CombineTextInputFormat和自定義InputFormat等。

1．TextInputFormat

TextInputFormat是默認的FileInputFormat實現類。按行讀取每條記錄。鍵是存儲該行在整個文件中的起始字節偏移量， LongWritable類型。值是這行的內容，不包括任何行終止符（換行符和回車符），Text類型。

以下是一個示例，比如，一個分片包含了如下4條文本記錄。

Rich learning formIntelligent learning engineLearning more convenientFrom the real demand for more close to the enterprise

每條記錄表示為以下鍵/值對：

(0,Rich learning form)(19,Intelligent learning engine)(47,Learning more convenient)(72,From the real demand for more close to the enterprise)

2．KeyValueTextInputFormat

每一行均為一條記錄，被分隔符分割為key，value。可以通過在驅動類中設置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, "\t");來設定分隔符。默認分隔符是tab（\t）。

以下是一個示例，輸入是一個包含4條記錄的分片。其中——>表示一個（水平方向的）制表符。

line1 ——>Rich learning formline2 ——>Intelligent learning engineline3 ——>Learning more convenientline4 ——>From the real demand for more close to the enterprise

每條記錄表示為以下鍵/值對：

(line1,Rich learning form)(line2,Intelligent learning engine)(line3,Learning more convenient)(line4,From the real demand for more close to the enterprise)

注意：此時的鍵是每行排在制表符之前的Text序列。

 3．NLineInputFormat

如果使用NlineInputFormat，代表每個map進程處理的InputSplit不再按Block塊去劃分，而是按NlineInputFormat指定的行數N來劃分。即輸入文件的總行數/N=切片數，如果不整除，切片數=商+1。

以下是一個示例，仍然以上面的4行輸入為例。

Rich learning formIntelligent learning engineLearning more convenientFrom the real demand for more close to the enterprise

例如，如果N是2，則每個輸入分片包含兩行。開啟2個MapTask。

(0,Rich learning form)(19,Intelligent learning engine)

另一個 mapper 則收到后兩行：

(47,Learning more convenient)(72,From the real demand for more close to the enterprise)

這里的鍵和值與TextInputFormat生成的一樣。

感謝各位的閱讀，以上就是“Java的Hadoop FileInputFormat實現類有哪些”的內容了，經過本文的學習后，相信大家對Java的Hadoop FileInputFormat實現類有哪些這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！