Hadoop FS的常用命令有哪些

本篇文章給大家分享的是有關Hadoop FS的常用命令有哪些，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

　　1、概述

　　Hadoop文件系統(FS)提供了各種shell命令，與shell命令類似，可用于同分布式文件系統(HDFS)進行交互，以管理HDFS集群中的文件和數據。

　　2、Hadoop FS常用命令

　　(1)創建目錄

　　用法：

　　hadoop fs -mkdir

　　示例：

　　創建單個目錄：

　　hadoop fs -mkdir /home/myfile/dir1

　　創建多目錄：

　　hadoop fs -mkdir /home/myfile/dir1 /home/myfile/dir2

　　(2)查看目錄

　　用法：

　　hadoop fs -ls

　　示例：

　　與shell中ls類似：

　　hadoop fs -ls /home/myfile/

　　注：hadoop fs -ls會打印出目錄統計信息和詳細信息，對文件批處理需注意格式。

　　(3)上傳文件

　　將一個或多個文件從本地系統復制到Hadoop文件系統。

　　用法：

　　hadoop fs -put

　　示例：

　　hadoop fs -put Desktop/test.sh /home/myfile/dir1/

　　(4)下載文件

　　將文件從HDFS下載到本地文件系統。

　　用法：

　　hadoop fs -get

　　示例：

　　hadoop fs -get /home/myfile/test.sh Downloads/

　　(5)查看文件

　　用法：

　　hadoop fs -cat

　　示例：

　　hadoop fs -cat /home/myfile/test.sh

　　(6)復制文件

　　用法：

　　hadoop fs -cp

　　示例：

　　hadoop fs -cp /home/myfile/test.sh /home/myfile/dir

　　(7)移動文件

　　用法：

　　hadoop fs -mv

　　示例：

　　hadoop fs -mv /home/myfile/test.sh /home/myfile/dir

　　(8)刪除文件

　　刪除指令有兩個選項，-rm和-rm -r

　　用法：

　　hadoop fs -rm

　　示例：

　　hadoop fs -rm /home/myfile/test.sh

　　上述命令只會刪除給定目錄下的文件，如果要刪除一個包含文件的目錄，類似于shell中的rm，需要使用遞歸參數-r。

　　下面是rm的遞歸操作：

　　用法：

　　hadoop fs -rm -r

　　示例：

　　hadoop fs -rm -r /home/myfile/dir

　　(9)查看文件尾部

　　用法：

　　hadoop fs -tail

　　示例：

　　hadoop fs -tail /home/myfile/test.sh

　　(10)顯示文件總長度

　　用法：

　　hadoop fs -du

　　示例：

　　hadoop fs -du /home/myfile/test.sh

　　(11)統計文件數和大小

　　用法：

　　hadoop fs -count

　　示例：

　　hadoop fs -count /home/myfile

　　(12)統計文件系統空間的詳細信息

　　用法：

　　hadoop fs -df

　　示例：

　　hadoop fs -df /home/myfile

　　(13)合并文件

　　從HDFS拷貝多個文件、合并排序為一個文件到本地文件系統

　　用法：

　　hadoop fs –getmerge

　　示例：

　　hadoop fs –getmerge /user/hduser0011/test /home/myfile/dir

　　FS Shell

　　調用文件系統(FS)Shell命令應使用 hadoop fs 的形式。

　　所有的的FS shell命令使用URI路徑作為參數。URI格式是scheme://authority/path。

　　對HDFS文件系統，scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的默認scheme。

　　一個HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡單的/parent/child(假設你配置文件中的默認值是namenode:namenodeport)。

　　大多數FS Shell命令的行為和對應的Unix Shell命令類似，不同之處會在下面介紹各命令使用詳情時指出。出錯信息會輸出到stderr，其他信息輸出到stdout。

　　cat

　　使用方法：hadoop fs -cat URI [URI …]

　　將路徑指定文件的內容輸出到stdout。

　　示例：

　　hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

　　hadoop fs -cat file:///file3 /user/hadoop/file4

　　返回值：

　　成功返回0，失敗返回-1。

　　chgrp

　　使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]

　　改變文件所屬的組。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。

　　chmod

　　使用方法：hadoop fs -chmod [-R]

　　改變文件的權限。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。

　　chown

　　使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

　　改變文件的擁有者。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是超級用戶。

　　copyFromLocal

　　使用方法：hadoop fs -copyFromLocal

　　限定源路徑是一個本地文件，其他與put命令相似。

　　copyToLocal

　　使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI

　　除了限定目標路徑是一個本地文件外，和get命令類似。

　　cp

　　使用方法：hadoop fs -cp URI [URI …]

　　將文件從源路徑復制到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。

　　示例：

　　hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

　　hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

　　返回值：

　　成功返回0，失敗返回-1。

　　du

　　使用方法：hadoop fs -du URI [URI …]

　　顯示目錄中所有文件的大小，或者當只指定一個文件時，顯示此文件的大小。

　　示例：

　　hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1

　　返回值：

　　成功返回0，失敗返回-1。

　　dus

　　使用方法：hadoop fs -dus

　　顯示文件的大小。

　　expunge

　　使用方法：hadoop fs -expunge

　　清空回收站。

　　get

　　使用方法：hadoop fs -get [-ignorecrc] [-crc]

　　復制文件到本地文件系統。可用-ignorecrc選項復制CRC校驗失敗的文件。使用-crc選項復制文件以及CRC信息。

　　示例：

　　hadoop fs -get /user/hadoop/file localfile

　　hadoop fs -get hdfs://host:port/user/hadoop/file localfile

　　返回值：

　　成功返回0，失敗返回-1。

　　getmerge

　　使用方法：hadoop fs -getmerge

　　接受一個源目錄和一個目標文件作為輸入，并且將源目錄中所有的文件連接成本地目標文件。addnl是可選的，用于指定在每個文件結尾添加一個換行符。

　　ls

　　使用方法：hadoop fs -ls

　　如果是文件，則按照如下格式返回文件信息：

　　文件名

　　示例：

　　hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

　　返回值：

　　成功返回0，失敗返回-1。

　　lsr

　　使用方法：hadoop fs -lsr

　　ls命令的遞歸版本。類似于Unix中的ls -R

　　mkdir

　　使用方法：hadoop fs -mkdir

　　接受路徑指定的uri作為參數，創建這些目錄。其行為類似于Unix的mkdir -p，它會創建路徑中的各級父目錄。

　　示例：

　　hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

　　hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

　　返回值：

　　成功返回0，失敗返回-1。

　　movefromLocal

　　使用方法：dfs -moveFromLocal

　　輸出一個”not implemented“信息。

　　mv

　　使用方法：hadoop fs -mv URI [URI …]

　　將文件從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。**不允許在不同的文件系統間移動文件。 **

　　示例：

　　hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

　　hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

　　返回值：

　　成功返回0，失敗返回-1。

　　put

　　使用方法：hadoop fs -put

　　從本地文件系統中復制單個或多個源路徑到目標文件系統。也支持從標準輸入中讀取輸入寫入目標文件系統。

　　hadoop fs -put localfile /user/hadoop/hadoopfile

　　hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

　　hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

　　hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

　　從標準輸入中讀取輸入。

　　返回值：

　　成功返回0，失敗返回-1。

　　rm

　　使用方法：hadoop fs -rm URI [URI …]

　　刪除指定的文件。只刪除非空目錄和文件。請參考rmr命令了解遞歸刪除。

　　示例：

　　hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

　　返回值：

　　成功返回0，失敗返回-1。

　　rmr

　　使用方法：hadoop fs -rmr URI [URI …]

　　rm的遞歸版本。

　　示例：

　　hadoop fs -rmr /user/hadoop/dir

　　hadoop fs -rmr hdfs://host:port/user/hadoop/dir

　　返回值：

　　成功返回0，失敗返回-1。

　　setrep

　　使用方法：hadoop fs -setrep [-R]

　　改變一個文件的副本系數。-R選項用于遞歸改變目錄下所有文件的副本系數。

　　示例：

　　hadoop fs -setrep -w 3 -R /user/hadoop/dir1

　　返回值：

　　成功返回0，失敗返回-1。

　　stat

　　使用方法：hadoop fs -stat URI [URI …]

　　返回指定路徑的統計信息。

　　示例：

　　hadoop fs -stat path

　　返回值：

　　成功返回0，失敗返回-1。

　　tail

　　使用方法：hadoop fs -tail [-f] URI

　　將文件尾部1K字節的內容輸出到stdout。支持-f選項，行為和Unix中一致。

　　示例：

　　hadoop fs -tail pathname

　　返回值：

　　成功返回0，失敗返回-1。

　　test

　　使用方法：hadoop fs -test -[ezd] URI

　　選項：

　　-e 檢查文件是否存在。如果存在則返回0。

　　-z 檢查文件是否是0字節。如果是則返回0。

　　-d 如果路徑是個目錄，則返回1，否則返回0。

　　示例：

　　hadoop fs -test -e filename

　　text

　　使用方法：hadoop fs -text

　　將源文件輸出為文本格式。允許的格式是zip和TextRecordInputStream。

　　touchz

　　使用方法：hadoop fs -touchz URI [URI …]

　　創建一個0字節的空文件。

　　示例：

　　hadoop -touchz pathname

　　返回值：

　　成功返回0，失敗返回-1。鄭州做無痛人流價格http://jbk.39.net/yiyuanzaixian/sysdfkyy/

以上就是Hadoop FS的常用命令有哪些，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。