中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

HDFS中JAVA API的使用

發布時間:2020-08-26 17:51:10 來源:腳本之家 閱讀:155 作者:殘劍_ 欄目:編程語言

HDFS是一個分布式文件系統,既然是文件系統,就可以對其文件進行操作,比如說新建文件、刪除文件、讀取文件內容等操作。下面記錄一下使用JAVA API對HDFS中的文件進行操作的過程。

對分HDFS中的文件操作主要涉及一下幾個類:

Configuration類:該類的對象封轉了客戶端或者服務器的配置。

FileSystem類:該類的對象是一個文件系統對象,可以用該對象的一些方法來對文件進行操作。FileSystem fs = FileSystem.get(conf);通過FileSystem的靜態方法get獲得該對象。

FSDataInputStream和FSDataOutputStream:這兩個類是HDFS中的輸入輸出流。分別通過FileSystem的open方法和create方法獲得。

具體如何對文件操作清下下面例子:

package com.hdfs;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HdfsTest {
  
  //創建新文件
  public static void createFile(String dst , byte[] contents) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path dstPath = new Path(dst); //目標路徑
    //打開一個輸出流
    FSDataOutputStream outputStream = fs.create(dstPath);
    outputStream.write(contents);
    outputStream.close();
    fs.close();
    System.out.println("文件創建成功!");
  }
  
  //上傳本地文件
  public static void uploadFile(String src,String dst) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path srcPath = new Path(src); //原路徑
    Path dstPath = new Path(dst); //目標路徑
    //調用文件系統的文件復制函數,前面參數是指是否刪除原文件,true為刪除,默認為false
    fs.copyFromLocalFile(false,srcPath, dstPath);
    
    //打印文件路徑
    System.out.println("Upload to "+conf.get("fs.default.name"));
    System.out.println("------------list files------------"+"\n");
    FileStatus [] fileStatus = fs.listStatus(dstPath);
    for (FileStatus file : fileStatus) 
    {
      System.out.println(file.getPath());
    }
    fs.close();
  }
  
  //文件重命名
  public static void rename(String oldName,String newName) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path oldPath = new Path(oldName);
    Path newPath = new Path(newName);
    boolean isok = fs.rename(oldPath, newPath);
    if(isok){
      System.out.println("rename ok!");
    }else{
      System.out.println("rename failure");
    }
    fs.close();
  }
  //刪除文件
  public static void delete(String filePath) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path path = new Path(filePath);
    boolean isok = fs.deleteOnExit(path);
    if(isok){
      System.out.println("delete ok!");
    }else{
      System.out.println("delete failure");
    }
    fs.close();
  }
  
  //創建目錄
  public static void mkdir(String path) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path srcPath = new Path(path);
    boolean isok = fs.mkdirs(srcPath);
    if(isok){
      System.out.println("create dir ok!");
    }else{
      System.out.println("create dir failure");
    }
    fs.close();
  }
  
  //讀取文件的內容
  public static void readFile(String filePath) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path srcPath = new Path(filePath);
    InputStream in = null;
    try {
      in = fs.open(srcPath);
      IOUtils.copyBytes(in, System.out, 4096, false); //復制到標準輸出流
    } finally {
      IOUtils.closeStream(in);
    }
  }
  
  
  public static void main(String[] args) throws IOException {
    //測試上傳文件
    //uploadFile("D:\\c.txt", "/user/hadoop/test/");
    //測試創建文件
    /*byte[] contents = "hello world 世界你好\n".getBytes();
    createFile("/user/hadoop/test1/d.txt",contents);*/
    //測試重命名
    //rename("/user/hadoop/test/d.txt", "/user/hadoop/test/dd.txt");
    //測試刪除文件
    //delete("test/dd.txt"); //使用相對路徑
    //delete("test1");  //刪除目錄
    //測試新建目錄
    //mkdir("test1");
    //測試讀取文件
    readFile("test1/d.txt");
  }

}

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持億速云。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

广安市| 通辽市| 葫芦岛市| 辽中县| 涟源市| 吉水县| 兰州市| 同德县| 巩义市| 南通市| 宜兰市| 湘乡市| 淮安市| 堆龙德庆县| 江口县| 政和县| 贵港市| 泊头市| 含山县| 莱州市| 兴海县| 高尔夫| 沂源县| 诸城市| 红桥区| 斗六市| 霍城县| 阿尔山市| 盘山县| 武邑县| 呼图壁县| 灵台县| 德保县| 嘉善县| 乌鲁木齐市| 兴安盟| 仁寿县| 左云县| 县级市| 阿城市| 绵竹市|