Hadoop常用命令有哪些

這篇文章將為大家詳細講解有關Hadoop常用命令有哪些，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Hadoop常用命令

1. hadoop fs –ls <path> 查看hdfs的<path>目錄下的內容

查看hdfs根目錄：

[root@chaoren bin]# hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2014-11-29 22:25 /usr

  結果等同于

[root@chaoren bin]# hadoop fs -ls hdfs://chaoren:9000/
Found 1 items
drwxr-xr-x   - root supergroup          0 2014-11-29 22:25 /usr

2. hadoop fs –lsr <path> 遞歸查看hdfs的<path>目錄下的內容

例如：

[root@chaoren bin]# hadoop fs -lsr /usr/local
權限     副本數 用戶   組     文件大小   修改日期         文件名稱   
drwxr-xr-x   -   root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop
drwxr-xr-x   -   root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop/tmp
drwxr-xr-x   -   root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop/tmp/mapred
drwx------   -    root  supergroup    0    2014-11-29 22:25  /usr/local/hadoop/tmp/mapred/system
-rw-------   1    root  supergroup    4    2014-11-29 22:25  /usr/local/hadoop/tmp/mapred/system/jobtracker.info

副本數在hdfs-site.xml中配置

<configuration>
       <!-- dfs.replication屬性 默認值是3-- >
       <property>
              <name>dfs.replication</name>
              <value>1</value>
       </property>
</configuration>

   3. hadoop fs –mkdir <path> 創建目錄<path>

在hdfs根目錄上創建文件夾/d1

[root@chaoren bin]# hadoop fs -mkdir /d1

查看結果：

[root@chaoren bin]# hadoop fs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2014-11-29 22:58 /d1
drwxr-xr-x   - root supergroup          0 2014-11-29 22:25 /usr

4. hadoop fs –put <linux src> <hdfs dest> 把文件從linux的src文件上傳到hdfs的dest目錄中

將conf/core-site.xml上傳到新創建的/dl目錄中

[root@chaoren bin]# hadoop fs -put /usr/local/hadoop/conf/core-site.xml hdfs://chaoren:9000/d1

查看結果：

[root@chaoren bin]# hadoop fs -ls /d1
Found 1 items
-rw-r--r--   1 root supergroup        364 2014-11-29 23:00 /d1/core-site.xml

5. hadoop fs –get <hdfs src> <linux dest> 把文件從hdfs下載到的linux特定路徑下>

下載hdfs的/d1/core-site.xml到/root/Desktop

[root@chaoren Desktop]# hadoop fs -get /d1/core-site.xml /root/Desktop

查看結果：

[root@chaoren Desktop]# cd /root/Desktop
[root@chaoren Desktop]# ll
total 4
-rw-r--r--. 1 root root 364 Nov 29 23:12 core-site.xml

6. hadoop fs –text <hdfs文件> 查看hdfs文件內容

[root@chaoren Desktop]# hadoop fs -text /d1/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
       <property>
              <name>fs.default.name</name>
              <value>hdfs://chaoren:9000</value>
       </property>
       <property>
              <name>hadoop.tmp.dir</name>
              <value>/usr/local/hadoop/tmp</value>
       </property>
</configuration>

7. hadoop fs –rm <path>    刪除hdfs在的<path>文件

[root@chaoren Desktop]# hadoop fs -rm /d1/core-site.xml
Deleted hdfs://chaoren:9000/d1/core-site.xml

查看結果：

[root@chaoren Desktop]# hadoop fs -ls /d1

8. hadoop fs –rmr <path>   遞歸刪除hdfs中<path>的文件夾及文件

[root@chaoren local]# hadoop fs -mkdir /d1/d11
[root@chaoren local]# hadoop fs -put /usr/local/hadoop/conf/h* /d1/d11
[root@chaoren local]# hadoop fs -ls /d1/d11
 
Found 4 items
-rw-r--r--   1 root supergroup       2229 2014-11-29 23:41 /d1/d11/hadoop-env.sh
-rw-r--r--   1 root supergroup       1488 2014-11-29 23:41 /d1/d11/hadoop-metrics2.properties
-rw-r--r--   1 root supergroup       4644 2014-11-29 23:41 /d1/d11/hadoop-policy.xml
-rw-r--r--   1 root supergroup        331 2014-11-29 23:41 /d1/d11/hdfs-site.xml

9. hadoop fs –cp <hdfs src> <hdfs dst> 拷貝文件或文件目錄，當src是目錄時，dst必須是目錄

[root@chaoren local]# hadoop fs -cp /d1/d11 /d1/d12

查看結果;

[root@chaoren local]# hadoop fs -ls /d1
 
Found 2 items
drwxr-xr-x   - root supergroup          0 2014-11-29 23:41 /d1/d11
drwxr-xr-x   - root supergroup          0 2014-11-29 23:45 /d1/d12

10. hadoop fs –mv 刪除

[root@chaoren local]# hadoop fs -mv /d1/d12 /d1/d13

查看結果：

[root@chaoren local]# hadoop fs -ls /d1
Warning: $HADOOP_HOME is deprecated.
 
Found 2 items
drwxr-xr-x   - root supergroup          0 2014-11-29 23:41 /d1/d11
drwxr-xr-x   - root supergroup          0 2014-11-29 23:45 /d1/d13

關于“Hadoop常用命令有哪些”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。