Hadoop學習系列(2.Hadoop框架介紹與搜索技術體系介紹)

第一天

2.Hadoop框架介紹與搜索技術體系介紹

2.Hadoop框架介紹與搜索技術體系介紹

1.hadoop介紹

       -》官網：http://hadoop.apache.org

   -》hadoop商業三大發行版

      -》Apache         -》apache

      -》cloudera       -》CDH

      -》hostonwork  -》HDP

    -》分布式

       -》爬蟲

       -》存儲（加硬盤，但是單臺機器是有限的）&處理分析

       -》快速查詢

       -》分開計算，結果合并

       -》google-》Mapreduce論文

                        -》map 

                        -》reduce

       -》HDFS   文件系統和數據庫是不一樣的

       -》HBase 

    -》搜索引擎的技術體系

         -》數據獲取 

            -》（外網，互聯網抓取數據）

            -》數據庫

         -》數據存儲-》HDFS&Hbase

               -》yarn操作系統

         -》數據計算

               -》sql實時查詢（消息隊列，監控系統）

               -》輔助型框架，比如zookeeper

         -》生成索引，搜索的索引（商品推薦和自己平時搜索的信息有關） 

         -》返回個前端用戶

    -》離線系統-》hadoop生態圈

         -》數據獲取

         -》（外網，互聯網抓取數據）

         -》云存儲

             -》全量或者增量導入(同步到hbase當中，sql語句當中)

         -》復雜離線處理的過程(job運行，業務的邏輯，表的join,字段的合并)

             -》mapreduce（實現全量或者增量數據的更新）

             -》其他的框架實現實時數據的更新

            這樣我整個的數據變化就可以實現秒級的速度   更新到搜索引擎