自動化HDFS數據復制機制的簡單用法

這篇文章主要介紹“自動化HDFS數據復制機制的簡單用法”，在日常操作中，相信很多人在自動化HDFS數據復制機制的簡單用法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”自動化HDFS數據復制機制的簡單用法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

在本章的前半部分，我們研究了兩種可以將半結構化和二進制數據轉換為HDFS的機制：開源HDFS File Slurper項目和Oozie，它們觸發了數據入口工作流程。使用本地文件系統進行輸入(以及輸出)的挑戰是，在集群上運行的map和reduce任務將無法訪問特定服務器上的文件系統，將數據從HDFS移動到文件系統有三個廣泛的選擇：

• 在服務器(例如Web服務器)上托管agent，然后使用MapReduce將其寫入。

• 在MapReduce中寫入本地文件系統，然后在后處理步驟中觸發遠程服務器上的腳本以移動該數據。

• 在遠程服務器上運行進程以直接從HDFS提取數據。

第三種選擇是首選方法，因為最簡單且最有效，因此這是本節的重點。我們將了解如何使用HDFS File Slurper自動將文件從HDFS移出到本地文件系統。

從HDFS導出文件的自動機制

假設有MapReduce用HDFS編寫的文件，你想要將它們自動提取到本地文件系統。任何Hadoop工具都不支持此類功能，因此必須查看其他方法。

問題

自動將文件從HDFS移動到本地文件系統。

解決方案

HDFS文件Slurper可用于將文件從HDFS復制到本地文件系統。

討論

這里的目標是使用HDFS File Slurper項目(https://github.com/alexholmes/ hdfs-file-slurper)來協助自動化。我們在前文詳細介紹了HDFS File Slurper，請在繼續使用此技術之前閱讀該部分。

HDFS Slurper支持將數據從HDFS移動到本地目錄，我們需要做的就是翻轉源目錄和目標目錄，如Slurper配置文件以下所示：

你會注意到，HDFS中不僅有源目錄，而且還有工作，完成和錯誤目錄。這是因為需要能夠在目錄之間自動移動文件，而不會產生跨文件系統復制的昂貴開銷。

總結

此時，你可能想知道如何觸發Slurper來復制剛剛使用MapReduce作業編寫的目錄。當MapReduce作業成功完成時，它會在作業輸出目錄中創建一個名為_SUCCESS的文件。這似乎是啟動輸出進程將該內容復制到本地文件系統的完美觸發器。事實證明，Oozie有一種機制可以在檢測到這些Hadoop文件“成功”時觸發工作流程，但這里的挑戰是Oozie執行的任何工作都是在MapReduce中執行的，所以它不能用于執行直接轉移。可以編寫自己的腳本，輪詢HDFS以查找已完成的目錄，然后觸發文件復制過程。如果源文件需要保持不變，那么文件復制過程可以是Slurper或簡單的hadoop fs -get命令。

到此，關于“自動化HDFS數據復制機制的簡單用法”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！