Hadoop3的主要優缺點有哪些

這篇文章主要講解了“Hadoop3的主要優缺點有哪些”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Hadoop3的主要優缺點有哪些”吧！

Hadoop 3的主要優缺點

Hadoop旨在存儲和管理大量數據。Hadoop有許多優點，例如，它是免費和開源的，易于使用的，其性能等。但是，另一方面，它也有一些缺點。因此，讓我們開始探索Hadoop的主要優點和缺點。

Hadoop的優勢

Hadoop易于使用，可擴展且具有成本效益。在這里，我們將討論Hadoop的12大優勢

Hadoop的優勢

1.各種數據源

Hadoop存儲各種數據。數據可以來自各種來源，并且可以是結構化或非結構化的形式。Hadoop可以從各種數據中獲取價值。Hadoop可以接受文本文件，XML文件，圖像，CSV文件等中的數據。

2.高性價比

Hadoop是一種經濟的解決方案，因為它使用集群來存儲數據。而硬件是便宜的機器，因此將節點添加到框架的成本不是很高。在Hadoop  3.0中，只有50%的存儲開銷，而在Hadoop2.x中只有200%。由于冗余數據顯著減少，因此需要較少的機器來存儲數據。

3.表現

Hadoop及其分布式處理和分布式存儲體系結構可高速處理大量數據。Hadoop甚至在2008年擊敗超級計算機成為最快的計算機。它將輸入數據文件劃分為多個塊，并將數據存儲在多個節點上的block塊中。它還將用戶提交的任務分為多個子任務，這些子任務分配給包含所需數據的這些工作節點，并且這些子任務并行運行，從而提高了性能。

4.容錯

在Hadoop  3.0中，擦除編碼提供了容錯能力。例如，6個數據塊通過使用擦除編碼技術產生3個奇偶校驗塊，因此HDFS總共存儲了這9個塊。如果任何節點發生故障，可以使用這些奇偶校驗塊和其余數據塊來恢復受影響的數據塊。

5.高度可用

在Hadoop 2.x中，HDFS架構具有一個活動的NameNode和一個Standby  NameNode，因此，如果NameNode發生故障，則我們可以依靠備用NameNode。但是Hadoop  3.0支持多個備用NameNode，從而使系統具有更高的可用性，因此如果兩個或多個NameNode崩潰，它可以繼續運行。

6.低網絡流量

在Hadoop中，用戶提交的每個作業都被分為多個獨立的子任務，并且這些子任務被分配給數據節點，從而將少量代碼移動到數據中，而不是將大量數據移動到代碼中，從而導致低網絡流量。

7.高通量

吞吐量是指單位時間內完成的工作。Hadoop以分布式方式存儲數據，從而可以輕松地使用分布式處理。給定的作業分為多個小作業，這些作業并行處理數據塊，從而提供高吞吐量。

8.開源

Hadoop是一種開源技術，即其源代碼可免費獲得。我們可以修改源代碼以適合特定要求。

9.可擴展

Hadoop按照水平可伸縮性原理工作，即我們需要將整個計算機添加到節點群集中，而不要像添加RAM，磁盤等那樣更改計算機的配置，這被稱為垂直可伸縮性。可以將節點動態添加到Hadoop集群，使其成為可擴展的框架。

10.易于使用

Hadoop框架提供分布式編程模型，MapReduce的程序員只需按固定的模板編寫分布式計算程序，而不需要關心他們如何實現分布式處理，它是在后臺自動完成。

11.相容性

大數據的大多數新興技術都與Hadoop兼容，例如Spark，Flink等。它們具有在Hadoop上作為后端工作的處理引擎，即我們將Hadoop用作它們的數據存儲平臺。

12.支持多種語言

開發人員可以在Hadoop上使用多種語言(例如C，C ++，Perl，Python，Ruby和Groovy)進行編碼。

Hadoop的缺點

Hadoop的缺點

1.小文件問題

Hadoop適用于處理相對較大的文件，但是涉及到處理大量小文件的時(小文件比Hadoop的塊大小小得多的文件，默認情況下，該塊大小可以為128MB或256MB)，Hadoop效率不高。這些大量的小文件使Namenode過載，因為Namenode存儲了系統的名稱空間，并使Hadoop難以運行。

2.天生脆弱

Hadoop用Java編寫，Java是一種廣泛使用的編程語言，因此它容易被網絡犯罪分子利用，這使得Hadoop容易受到安全漏洞的攻擊。

3.處理費用

在Hadoop中，數據是從磁盤讀取并寫入磁盤的，這在我們處理兆兆字節和PB級數據時使讀/寫操作非常昂貴。Hadoop無法執行內存中計算，因此會增加處理開銷。

4.僅支持批處理

Hadoop的核心是一個批處理引擎，該引擎在流處理方面效率不高。它不能以低延遲實時生成輸出。它僅適用于我們在處理之前預先收集并存儲在文件中的數據。

5.迭代處理

Hadoop本身無法進行迭代處理。機器學習  或迭代處理具有周期性的數據流，而Hadoop的數據是在多個階段鏈中流動的，其中一個階段的輸出成為另一階段的輸入。

6.安全性

為了安全起見，Hadoop使用難以管理的Kerberos身份驗證。它缺少存儲和網絡級別的加密，這是一個主要問題。

感謝各位的閱讀，以上就是“Hadoop3的主要優缺點有哪些”的內容了，經過本文的學習后，相信大家對Hadoop3的主要優缺點有哪些這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！