您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“hive架構由哪幾部分組成”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“hive架構由哪幾部分組成”這篇文章吧。
主要分為以下幾個部分:
用戶接口,包括 命令行CLI,Client,Web界面WUI,JDBC/ODBC接口等
中間件:包括thrift接口和JDBC/ODBC的服務端,用于整合Hive和其他程序。
元數據metadata存儲,通常是存儲在關系數據庫如 mysql, derby 中的系統參數
底層驅動:包括HiveQL解釋器、編譯器、優化器、執行器(引擎)。
Hadoop:用 HDFS 進行存儲,利用 MapReduce 進行計算。
用戶接口主要有三個:CLI,Client 和 WUI。其中最常用的是 CLI,Cli 啟動的時候,會同時啟動一個 Hive 副本。Client 是 Hive 的客戶端,用戶連接至 Hive Server。在啟動 Client 模式的時候,需要指出 Hive Server 所在節點,并且在該節點啟動 Hive Server。 WUI 是通過瀏覽器訪問 Hive。
Hive 將元數據存儲在數據庫中,如 mysql、derby。Hive 中的元數據包括表的名字,表的列和分區及其屬性,表的屬性(是否為外部表等),表的數據所在目錄等。
解釋器、編譯器、優化器完成 HQL 查詢語句從詞法分析、語法分析、編譯生成執行計劃、優化以及生成最佳執行計劃。生成的查詢計劃存儲在 HDFS 中,并在隨后有 MapReduce 調用執行。
Hive 的數據存儲在 HDFS 中,大部分的查詢由 MapReduce 完成(包含 * 的查詢,比如 select * from tbl 不會生成 MapRedcue 任務)。
以上是“hive架構由哪幾部分組成”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。