HDFS用法

HDFS體系結構：

實戰：
HDFS是文件系統，那么它就支持對文件系統的基本操作，比如文件的增刪改查、權限的修改，文件夾的創建，刪除，重命名等操作；對HDFS的操作命令類似與linux的shell對文件的操作 如：ls、mkdir、rm、chown等
當你遇到問題時執行bin/hadoop dfs –help?commandName會顯示這個命令的用法, 在介紹之前先定義一下參數的意義：

1. 斜體：表示用戶輸入的變量
2. path：表示文件名或目錄名
3. path…：表示一個或多個文件名或目錄名
4. ?file：表示任意文件名
5. rc和dest：表示HDFS的源路徑和目標路徑
6. localSrc和localDest：表示本地文件系統的源路徑和目標路徑
   7.在[]中的參數是可選的
   ?執行hadoop fs 命令，如圖所示：

?hadoop fs –ls path
列出path目錄下的內容，包括文件名，權限，所有者，大小和修改時間

?hadoop fs -lsr?path
與ls相似，但遞歸地顯示子目錄下的內容

?hadoop fs –du path
顯示path下所有文件磁盤使用情況下，用字節大小表示，文件名用完整的HDFS協議前綴表示
?hadoop fs –dus path 2.0 ：hadoop fs –du -s path
與-du相似，但它還顯示全部文件或目錄磁盤使用情況

?hadoop fs -mkdir?path
在HDFS中創建一個名為path的目錄，如果它的上級目錄不存在，也會被創建，如同linux中的mkidr –p
?hadoop fs –rm?path
刪除一個文件或空目錄
?hadoop fs –rmr?path 2.x: hadoop fs –rm -r?path
刪除一個文件或遞歸刪除目錄

?hadoop fs –put?localSrc dest
將本地文件或目錄localSrc上傳到HDFS中的dest路徑
?hadoop fs –copyFromLocal?localSrc dest
與-put命令相同
?hadoop fs –moveFromLocal?localSrc dest
將文件或目錄從localSrc上傳到HDFS中的dest目錄，再刪除本地文件或目錄localSrc
?hadoop fs –get [-crc]?src localDest
將文件或目錄從HDFS中的src拷貝到本地文件系統localDest
?hadoop fs –getmerge?src localDest?[addnl]
將在HDFS中滿足路徑src的文件合并到本地文件系統的一個文件localDest中
?hadoop fs –cat?filename
顯示文件內容到標準輸出上
?hadoop fs -copyToLocal [-crc]?src localDest
與-get命令相同
?hadoop fs -moveToLocal [-crc]?src localDest
與-get命令相似，但拷貝結束后，刪除HDFS上原文件
?hadoop fs -cp?src dest
在HDFS中，將src文件或目錄復制到dest
?hadoop fs -setrep [-R] [-w]?rep path
設置目標文件的復制數
?hadoop fs -touchz?path
創建一個文件。時間戳為當前時間，如果文件本就存在就失敗，除非原文件長充為0
?hadoop fs -test –[ezd]?path
如果路徑(path)存在，返回1，長度為0(zero)，或是一個目錄(directory)
?hadoop fs –stat [format]?path
顯示文件所占塊數(%b)，文件名(%n)，塊大小(%n)，復制數(%r)，修改時間(%y%Y)
?hadoop fs –tail [-f]?file
顯示文件最后的1KB內容到標準輸出
?hadoop fs –chmod [-R] [owner][:[group]]?path…
遞歸修改時帶上-R參數，mode是一個3位的8進制數，或是[augo]+/-{rwxX}
?hadoop fs –chgrp [-R]?group
設置文件或目錄的所有組，遞歸修改目錄時用-R參數

想了解更多信息，可到http://hadoop.apache.org/官網了解。