Hadoop文件系統有哪些

發布時間：2021-12-08 10:47:32 來源：億速云閱讀：144 作者：小新欄目：云計算

這篇文章主要介紹Hadoop文件系統有哪些，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

Hadoop有一個抽象的文件系統概念，HDFS只是其中的一個實現。Java抽象類 org.apache.hadoop.fs.FileSystem展示了Hadoop的一個文件系統，而且有幾個具體實現，如表 3-1所示。

文件系統	URI 方案	Java實現(全部在 org.apache.hadoop)	描述
Local	file	fs.LocalFileSystem	針對有客戶端校驗和的本地連接磁盤使用的文件系統。針對沒有校驗和的本地文件系統使用 RawLocalFileSystem。詳情參見第4章
HDFS	hdfs	hdfs.Distributed- FileSystem	Hadoop的分布式文件系統。HDFS 被設計為結合使用 Map-Reduce實現高效工作
HFTP	hftp	hdfs.HftpFileSystem	一個在HTTP上提供對HDFS只讀訪問的文件系統(雖然其名稱為HFTP，但它與FTP無關)。通常與distcp結合使用 (參見第3章)，在運行不同版本HDFS的集群間復制數據
HSFTP	hsftp	hdfs.Hsftp- FileSystem	在HTTPS上提供對 HDFS只讀訪問的文件系統(同上，與 FTP無關)
HAR	har	fs.HarFileSystem	一個構建在其他文件系統上來存檔文件的文件系統。Hadoop 存檔一般在HDFS中的文件存檔時使用，以減少名稱節點內存的使用
KFS(Cloud-Store)	kfs	fs.kfs.Kosmos- FleSystem	cloudstore(其前身是 Kosmos文件系統) 是相似于HDFS或是 Google的GFS的文件系統，用C++編寫。詳情可參見http://kosmosfs. sourceforge.net/
FTP	ftp	fs.ftp.FTP- FileSystem	由FTP服務器支持的文件系統
S3(本地)	s3n	fs.s3native.Native- S3FileSystem.	由Amazon S3支持的文件系統。可參見 http://wiki.apache.org /hadoop/AmazonS3
S3(基于塊)	s3	fs.s3.S3FileSystem	由 Amazon S3支持的文件系統，以塊格式存儲文件 (與HDFS很相似) 來解決S3的5 GB 文件大小限制

Hadoop提供了許多文件系統的接口，它一般使用URI 方案來選取合適的文件系統實例交互。舉例來說，我們在前一小節中研究的文件系統shell可以操作所有的Hadoop文件系統。列出本地文件系統根目錄下的文件，輸入以下命令：

1. % hadoop fs -ls file:///

盡管運行那些可訪問任何文件系統的MapReduce程序是可行的(有時也很方便)，但在處理大量數據時，仍然需要選擇一個有最優本地數據的分布式文件系統，如HDFS或者KFS。

以上是“Hadoop文件系統有哪些”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！

向AI問一下細節

中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站