Hadoop：適合大數據的分布式存儲與計算平臺（第三講）

1.hadoop：

    作者：Doug Cutting

    受Google三篇論文的啟發

2.版本：

  Apache： 官方版本（1.1.2），學習使用

  Cloudera：在apache版本的基礎上添加功能，實現商業用途

  Yahoo：現在已經集中在apache的版本上

3.hadoop的核心項目

  HDFS:(Hadoop Distributed File System) 分布式文件系統

  MapReduce:并行計算框架

4.HDFS的架構（主從結構中，主節點負責管理。從節點負責操作）

  主從結構（只有一個主節點namenode,可以有很多個從節點datanodes）

  namenode負責：

        接收用戶的操作請求

        維護文件系統的目錄結構

        管理文件與block之間的關系，block與datanode之間的關系

 datanode負責：

        存儲文件

        文件被分成block存儲在磁盤上

        為保證數據安全，文件會有多個副本

5.MapReduce的架構

  主從結構（只有一個主節點JobTracker，可以用很多個從節點TaskTrackers）

  JobTracker負責：

        接收客戶提交的計算任務

        把計算任務分給TaskTracker執行

        監控TaskTracker的執行情況

  TaskTrackers負責：

        執行JobTracker分配的計算任務

6.Hadoop的特點：

擴容能力（Scalable）:能可靠地存儲和處理千兆字節（PB）數據；

成本低（Economical）:可以通過普通機器組成的服務器群來分發以及處理數據；

高效率（Efficient）:通過分發數據，hadoop可以在數據的所在節點上并行處理；

可性靠（Reliable）:hadoop能自動地維護數據的多份副本，并且在任務失敗后能自動重新部署計算任務

7.Hadoop集群的物理分布

說明：

     a.下方的Rack分別表示兩個機柜，分別存放多個服務器，左右兩機柜都連接有自己的交換機，左右兩個交換機又和總的交換機連接，所以，機柜上的各個服務器之間可以互相訪問;

     b.機柜上兩個主節點分別都獨占一臺服務器，而從節點組合在一起存放在一臺服務器上

8.單節點物理結構

  說明：左右圖分別表示主節點和從節點，圖中主從節點都使用linux系統的服務器，并且都運行在java虛擬機上，因為hadoop是基于java開發的

9.Hadoop部署方式

  本地部署（不常用）

  偽分布模式（學習使用）

  集群模式（公司使用）

10.安裝前準備軟件

    VitualVox

    centos

    jdk-6u24-linux-xxx.bin

    hadoop-1.1.2.tar.gz

11.偽分布模式安裝步驟：（6步）

   關閉防火墻

   修改ip

   修改hostname

   設置ssh自動登錄

   安裝jdk

   安裝hadoop