Hadoop入門基礎知識有哪些

本篇內容介紹了“Hadoop入門基礎知識有哪些”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

　　1、Hadoop概述

　　Hadoop 是 Apache 旗下的一個用 Java 語言實現開源軟件框架，它還是一個開發和運行處理大規模數據的軟件平臺。Hadoop允許使用簡單的編程模型，在大量計算機集群上，對大型數據集進行分布式處理。

　　狹義上說，Hadoop 指 Apache 這款開源框架，它的核心組件有：HDFS(分布式文件系統)：解決海量數據存儲 ;YARN(作業調度和集群資源管理的框架)：解決資源任務調度;MAPREDUCE(分布式運算編程框架)：解決海量數據計算。

　　廣義上來說，Hadoop 通常是指一個更廣泛的概念——Hadoop 生態圈。當下的 Hadoop 已經成長為一個龐大的體系，隨著生態系統的成長，新出現的項目越來越多，其中不乏一些非 Apache 主管的項目，這些項目對 HADOOP 是很好的補充或者更高層的抽象。比如，HDFS： 分 布 式 文 件 系 統;MAPREDUCE：分布式運算程序開發框架;HIVE：基于 HADOOP 的分布式數據倉庫，提供基于 SQL 的查詢數據操作;HBASE：基于Hadoop的分布式海量數據庫;ZOOKEEPER：分布式協調服務基礎組件;Mahout：基于 mapreduce/spark/flink 等分布式運算框架的機器學習算法庫;OOZIE：工作流調度框架;Sqoop：數據導入導出工具;FLUME：日志數據采集框架;IMPALA：基于 hive 的實時 sql 查詢分析。

　　2、Hadoop的發展歷程

　　Hadoop 是 Apache Lucene 創始人 Doug Cutting 創建的。最早起源于 Nutch， 它是 Lucene 的子項目。Nutch 的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨著抓取網頁數量的增加，遇到了嚴重的可擴展性問題：如何解決數十億網頁的存儲和索引問題。

　　2003 年 Google 發表了一篇論文為該問題提供了可行的解決方案。論文中描述的是谷歌的產品架構，該架構稱為：谷歌分布式文件系統(GFS),可以解決他們在網頁爬取和索引過程中產生的超大文件的存儲需求。

　　2004 年 Google 發表論文向全世界介紹了谷歌版的MapReduce 系統。 同時期，Nutch 的開發人員完成了相應的開源實現 HDFS 和 MAPREDUCE，并從Nutch 中剝離成為獨立項目 HADOOP，到 2008 年 1 月，HADOOP 成為 Apache 頂級項目，迎來了它的快速發展期。

　　2006 年 Google 發表了論文是關于 BigTable 的，這促使了后來的 Hbase的發展。 因此，Hadoop 及其生態圈的發展離不開 Google 的貢獻。

　　3、Hadoop的特性

　　(1)擴容能力：Hadoop 是在可用的計算機集群間分配數據并完成計算任務的，這些集群可用方便的擴展到數以千計的節點中。

　　(2)成本低：Hadoop 通過普通廉價的機器組成服務器集群來分發以及處理數據，以至于成本很低。

　　(3)高效率：通過并發數據，Hadoop 可以在節點之間動態并行的移動數據，使得速度非常快。

　　(4)可靠性：能自動維護數據的多份復制，并且在任務失敗后能自動地重新部署計算任務。所以 Hadoop 的按位存儲和處理數據的能力值得人們信賴。

　　4、Hadoop的應用

　　Hadoop 最受青睞的行業是互聯網領域，可以說互聯網公司是 hadoop 的主要使用力量。國外來說，Yahoo、Facebook、IBM 等公司都大量使用 hadoop 集群來支撐業務。比如：Yahoo 的 Hadoop 應用在支持廣告系統、用戶行為分析、支持 Web 搜索等。 Facebook 主要使用 Hadoop 存儲內部日志與多維數據，并以此作為報告、分析和機器學習的數據源。

　　國內來說，BAT 領頭的互聯網公司是當仁不讓的 Hadoop 使用者、維護者。比如 Ali 云梯(14 年國內最大 Hadoop 集群)、百度的日志分析平臺、推薦引擎系統等。國內其他非互聯網領域也有不少 hadoop 的應用，比如：金融行業的個人征信分析，證券行業的投資模型分析，還有交通行業的車輛、路況監控分析和電信行業的用戶上網行為分析 。

“Hadoop入門基礎知識有哪些”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！