中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

HDFS與其他并行文件系統的對比

發布時間:2021-08-02 16:53:23 來源:億速云 閱讀:216 作者:chen 欄目:云計算

這篇文章主要講解了“HDFS與其他并行文件系統的對比”,文中的講解內容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“HDFS與其他并行文件系統的對比”吧!


HDFS作為一種新興的并行文件系統,和現有的分布式文件系統相似,他們都是運行在普通硬件之上的分布式文件系統,然而HDFS與其他分布式文件系統也存在著一些差別。如HDFS具有高容錯性,可以部署在低成本的硬件之上,同時放松了對POSIX的需求,使其可以以流的形式訪問文件數據,非常適合大數據集的應用程序。分析研究HDFS與其他并行文件系統的相同點和不同點,能夠深入了解HDFS系統的應用場景和設計理念。 
(1)訪問的透明性,用戶能通過相同操作來訪問本地文件和遠程文件。HDFS可以做到這一點,但如果HDFS設置成本地文件系統,而不是分布式,那么HDFS的應用程序可以直接讀寫本地文件,只需要修改配置文件。可見,HDFS提供的訪問透明性是不完全的,畢竟它構建于java之上,不能像NFS和Lustre那樣去修改Unix內核,同時將本地文件和遠程文件以一致地方式處理。 
(2)并發控制,客戶端對文件的讀寫不應該影響其他客戶端對同一個文件的讀寫。要想實現這種單個文件拷貝語義,分布式文件系統需要做出復雜的交互,例如采用時間戳、采用互斥、原子操作等。而HDFS采用的機制非常簡單,任何時間都只允許一個客戶端進行寫操作。當客戶端需要寫文件時,會對這個文件申請一個租約,只有這個租約被釋放,別的客戶端才能申請對這個文件的寫操作。文件經創建并寫入關閉之后不再改變,它的模型是“Write-Once-Read-Many”。  
(3)資源移動策略,HDFS支持“移動計算到數據”。若一個Map任務是對某個數據塊的操作,則這個操作必定是在存儲這個數據塊的節點上完成的,同時HDFS支持數據的多副本(默認為3個副本),存儲任一副本的節點都可以執行Map任務的操作,JobTracker會把任務分配給距離客戶端最近的,且存有副本的節點。 
通過上面三方面的比較,可以深入的理解HDFS的優點和缺點,以及HDFS的設計應用場景。對于追求海量數據的高吞吐量、批量處理任務HDFS無疑能發揮巨大的威力,但是對文件的隨機讀寫卻并不適合。同時,HDFS也不適合對低延時訪問、大量小文件的存儲及處理。


感謝各位的閱讀,以上就是“HDFS與其他并行文件系統的對比”的內容了,經過本文的學習后,相信大家對HDFS與其他并行文件系統的對比這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關知識點的文章,歡迎關注!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

固安县| 边坝县| 锡林郭勒盟| 西城区| 衡水市| 洛扎县| 漳州市| 浪卡子县| 平南县| 乐清市| 富民县| 虹口区| 恩平市| 泽普县| 张家港市| 江孜县| 宣武区| 尉氏县| 门头沟区| 苗栗市| 延津县| 竹山县| 白银市| 塔河县| 巴林右旗| 九台市| 新余市| 确山县| 福清市| 金坛市| 东乌| 炉霍县| 孝感市| 宜阳县| 汉沽区| 稻城县| 芜湖市| 察哈| 江山市| 龙里县| 海兴县|