hadoop有什么優點

這篇文章主要為大家展示了“hadoop有什么優點”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“hadoop有什么優點”這篇文章吧。

首先，Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。

Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點：

1.   高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。

2.   高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。

3.   高效性。Hadoop能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，因此處理速度非常快。

4.   高容錯性。Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。

5.   低成本。與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。

Hadoop帶有用Java語言編寫的框架，因此運行在 Linux 生產平臺上是非常理想的。

其實我們要知道大數據的實質特性：針對增量中海量的結構化，非結構化，半結構數據，在這種情況下，如何快速反復計算挖掘出高效益的市場數據？？帶著這 個問題滲透到業務中去分析，就知道hadoop需要應用到什么業務場景了！！！如果關系型數據庫都能應付的工作還需要hadoop嗎？

關于hadoop,我映像比較深刻的是知乎中有人提到的一個“秒級營銷”，什么是“秒級營銷”呢？說白了就是：

1.通過大數據計算你的個人信息；

2.然后進行精準推送。

hadoop還能夠做什么呢？

例如：

·        大數據量存儲：分布式存儲

·        日志處理: Hadoop擅長這個

·        海量計算: 并行計算

·        ETL:數據抽取到oracle、mysql、DB2、mongdb及主流數據庫

·        使用HBase做數據分析: 用擴展性應對大量的寫操作—Facebook構建了基于HBase的實時數據分析系統

·        搜索引擎:hadoop + lucene實現

·        數據挖掘：目前比較流行的廣告推薦

·        大量地從文件中順序讀。HDFS對順序讀進行了優化，代價是對于隨機的訪問負載較高。

·        任何一臺服務器都有可能失效，需要通過大量的數據復制使得性能不會受到大的影響。

·        個性化廣告推薦

說了這么多，如果沒有理解沒有明白，沒關系。我們挑其核心講唄

Hadoop最核心的設計就是HDFS和MapReduce

1.Hdfs提供海量的數據存儲。

具體的可參看HDFS詳解（個人推薦,該博客擁有比較多的文檔支撐）

2.MapReduce提供了對數據的計算。

2.1MapReduce編程模型

MapReduce采用"分而治之"的思想，把對大規模數據集的操作，分發給一個主節點管理下的各個分節點共同完成，然后通過整合各個節點的中間結果，得到最終結果。簡單地說，MapReduce就是"任務的分解與結果的匯總"。

在Hadoop中，用于執行MapReduce任務的機器角色有兩個：一個是JobTracker；另一個是TaskTracker，JobTracker是用于調度工作的，TaskTracker是用于執行工作的。一個Hadoop集群中只有一臺JobTracker。

在分布式計算中，MapReduce框架負責處理了并行編程中分布式存儲、工作調度、負載均衡、容錯均衡、容錯處理以及網絡通信等復雜問題，把處理過程高度抽象為兩個函數：map和reduce，map負責把任務分解成多個任務，reduce負責把分解后多任務處理的結果匯總起來。

需要注意的是，用MapReduce來處理的數據集（或任務）必須具備這樣的特點：待處理的數據集可以分解成許多小的數據集，而且每一個小數據集都可以完全并行地進行處理。

2.2MapReduce處理過程

在Hadoop中，每個MapReduce任務都被初始化為一個Job，每個Job又可以分為兩種階段：map階段和reduce階段。這兩個階段分別用兩個函數表示，即map函數和reduce函數。map函數接收一個<key,value>形式的輸入，然后同樣產生一個<key,value>形式的中間輸出，Hadoop函數接收一個如<key,(list of values)>形式的輸入，然后對這個value集合進行處理，每個reduce產生0或1個輸出，reduce的輸出也是<key,value>形式的。

MapReduce處理大數據集的過程

以上是“hadoop有什么優點”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！