中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

HDFS有哪些顯著的特點

發布時間:2021-12-09 11:49:03 來源:億速云 閱讀:552 作者:小新 欄目:大數據

小編給大家分享一下HDFS有哪些顯著的特點,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

分布式文件系統(Hadoop Distributed File System)是Hadoop核心子項目,為Hadoop提供了一個綜合性的文件系統抽象,并且只會實現了多類文件系統的接口。HDFS基于流式數據訪問、存儲和處理超大文件。

在HDFS中引入了存放元數據信息的服務器:NameNode和實際存放數據的服務器:DataNode。

HDFS有著顯著的特點

  • 存儲數據較大

運行在HDFS的應用程序的數據處理有較大的需求,從存儲GB到存儲TB級別的超大文件,在目前的實際應用中,HDFS以及被利用來管理存儲PB級別的數據

  • 支持多硬件平臺

Hadoop可以運行在廉價、異構的商用硬件集群上,并且可以在HDFS設計時充分考慮數據的可靠性、安全性、高可用性

  • 支持流式數據

HDFS有一個設計思路是“寫入一次,多次讀取”、數據源生成數據集后,會被復制分發到不同的存儲節點,已用于響應數據分析任務的請求。HDFS放寬了可移植操作系統接口的要求,可以以流的形式訪問文件系統中的數據

  • 數據的一致性高

因為采用“寫入一次,多次讀取”的策略,所以支持追加不支持多次修改,降低了數據不一致性的造成可能

  • 有效預防硬件失效

HDFS的設計能夠有效預防硬件異常并且具有自動恢復數據的能力

  • 高容錯性

HDFS能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新發配,具有高容錯性

所以,HDFS經常被使用于各個場景下,例如:

大數據存儲:分布式存儲

日志處理:擅長日志分析

ETL:數據可抽取到MYSQL,oracle,Lucene

機器學習

搜索引擎

但是,相對于的,HDFS也有不適應的地方

不適合低延遲的數據訪問

HDFS不適合處理那些數據訪問要求低延遲的請求,因為HDFS主要是為了高數據的吞吐設計的,會產生稿時間延遲的代價

無法高效的存儲大量小文件

HDFS采用主從架構來存儲數據,需要用到NameNode來管理文件系統的元數據,以響應請求。為了快速響應請求,元數據存在主節點的內存中,如果小文件數量多達,容易造成內存不足,導致系統錯誤

以上是“HDFS有哪些顯著的特點”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

济南市| 河间市| 鄱阳县| 岳阳市| 将乐县| 江都市| 千阳县| 荆门市| 蓬安县| 红安县| 繁峙县| 新巴尔虎左旗| 当雄县| 高要市| 周宁县| 克什克腾旗| 石屏县| 广东省| 同德县| 通山县| 黄骅市| 浠水县| 屏山县| 阿荣旗| 东乡县| 孝感市| 饶平县| 塘沽区| 临西县| 教育| 彭水| 那曲县| 平乐县| 嫩江县| 扎兰屯市| 栾城县| 乌苏市| 图木舒克市| 遂昌县| 沽源县| 东丽区|