HIVE體系架構是怎么樣的

這篇文章主要介紹了HIVE體系架構是怎么樣的，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

*注：本文基于hive-0.8.1寫的

架構圖：

一、   service

1、       hive有三種service，分別是cli，hiveserver和hwi。

2、       cli是命令行工具，為默認服務，啟動方式$HIVE_HOME/bin/hive 或 $HIVE_HOME/bin/hive --service cli。

3、       hiverserver通過thrift對外提供服務，默認端口10000，啟動方式為$HIVE_HOME/bin/hive--service hiveserver。

4、       hwi為web接口，可以通過瀏覽器訪問hive，默認端口9999，啟動方式為$HIVE_HOME/bin/hive--service hwi。

5、       每個服務間互相獨立，有各自的配置文件(配置metasotre/namenode/jobtracker等)，如果metasotre的配置一樣則物理上對應同一hive庫。

6、       Driver用于解釋、編譯、優化、執行HQL，每個service的Driver相互獨立。

7、       CLI為用戶提供命令行接口，每個CLI獨享配置，即在一個CLI里修改配置不影響別的CLI。

8、       多個JDBC可同時連到同一HiveServer上，所有會話共享一份配置。(注:從0.9.0起hiveserver配置已經從global降為session，即每個session的配置相互獨立，見 [HIVE-2503])

9、       多個瀏覽器可同時連到同一HWI上，所有會話共享一份配置。

二、MetaStore

MetaStore位置通過參數javax.jdo.option.ConnectionURL來指定，可在會話中自由修改。相關的參數包括：

javax.jdo.option.ConnectionDriverName#數據庫驅動
javax.jdo.option.ConnectionURL          #數據庫ip端口庫名等
javax.jdo.option.ConnectionUserName   #用戶名
javax.jdo.option.ConnectionPassword    #密碼

通過修改這些參數可以在多個MetaStore間熱切換，可用于HA。

三、NameNode與JobTracker

NameNode由fs.default.name指定，JobTracker由mapred.job.tracker指定，這兩個參數都可以在會話中自由修改來指向不同的NameNode和JobTracker。

配合MetaStore可以有多種組合出現，例如在同一個MetaStore里讓table1的數據存在HDFS1，用JobTracker1計算，table2的數據存在HDFS2，用JobTracker2計算，或者讓兩個表都在JobTracker3上計算。

四、注意事項

1、       NameNode和JobTracker最好指向同一個集群，否則計算的時候需要跨集群復制數據。

2、       在MetaStore存儲的是表數據文件的絕對路徑，當心其與NameNode/JobTracker不再同一個集群里導致夸集群復制。

3、       對hiveserver與hwi配置的修改會作用到同一service上的所有會話。 (注:從0.9.0起hiveserver配置已經從global降為session，即每個session的配置相互獨立

感謝你能夠認真閱讀完這篇文章，希望小編分享的“HIVE體系架構是怎么樣的”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!