Hive的安裝與部署

本篇內容主要講解“Hive的安裝與部署”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hive的安裝與部署”吧!

前言

<font color=#999AAA >為了后續更好的學習hive數倉，這里先附上Hive安裝部署的教程。后續文章會詳細講解hive的原理和使用。安裝Hive的前置條件是： 1.安裝好對應版本的hadoop集群，并啟動hadoop的HDFS以及YARN服務; 2.安裝了MySQL服務，并啟動MySQL的服務</font>

<hr  color=#000000 size=1">

1. root用戶下安裝mysql

• CentOS 7中切換到root用戶，安裝mysql

• 在CentOS 7中默認安裝有MariaDB，這個是MySQL的分支；但還是要安裝MySQL，而且安裝完成之后會直接覆蓋掉MariaDB

2. 安裝mysql

2.1 下載并安裝mysql官方的yum源

安裝到第三個節點node03上

• 使用root用戶，在CentOS 7服務器的/kkb/soft路徑下執行以下命令

• 切換到root用戶

[hadoop@node03 ~]$ su root

• 進入/kkb/soft目錄，并安裝wget軟件

[root@node03 hadoop]# cd /kkb/soft/
[root@node03 soft]# yum -y install wget

出現Installed!字樣，表示成功安裝

• 使用wget命令下載mysql的rpm包

[root@node03 soft]# wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

-i 指定輸入文件

-c 表示斷點續傳

2.2 安裝mysql

[root@node03 soft]# yum -y install mysql57-community-release-el7-10.noarch.rpm

• 安裝mysql server這步可能會花些時間，需要在線下載，視網速而定；然后再安裝；安裝完成后就會覆蓋掉之前的mariadb

[root@node03 soft]# yum -y install mysql-community-server

3. 設置mysql

3.1 mysql服務

• 首先啟動MySQL服務

[root@node03 soft]# systemctl start mysqld.service

• 查看mysql啟動狀態

[root@node03 soft]# systemctl status mysqld.service

下圖active（running）表示mysql服務已啟動

3.2 修改密碼

• 此時MySQL已經開始正常運行，不過要登陸MySQL，還得先找出此時mysql的root用戶的臨時密碼 如下命令可以在日志文件中找出臨時密碼

[root@node03 hadoop]# grep "password" /var/log/mysqld.log

• 可以查看到我的臨時密碼為

<font color='red'>注意：</font>==不同人的臨時密碼不一樣，根據自己的實際情況而定==

fHy3Su:&REkh

• 使用臨時密碼，登陸mysql客戶端

[root@node03 hadoop]# mysql -uroot -p

• 設置密碼策略為LOW，此策略只檢查密碼的長度

set global validate_password_policy=LOW;

關鍵字“Query OK”表示，sql語句執行成功

• 設置密碼最小長度

set global validate_password_length=6;

• 修改mysql的root用戶，本地登陸的密碼為123456

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

• 開啟mysql的遠程連接權限

grant all privileges  on  *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

• 若不再需要使用mysql命令行，可以退出

exit

2. Hive的安裝部署

注意hive就是==一個構建數據倉庫的工具==，只需要在==一臺服務器上==安裝就可以了，不需要在多臺服務器上安裝。

此處以安裝到node03為例；

使用==hadoop普通用戶==操作

1.1 先決條件

• 搭建好三節點Hadoop集群；

• node03上先安裝好MySQL服務；

1.2 準備安裝包

• 下載hive的安裝包，可以訪問官網下載：

• http://archive.cloudera.com/cdh6/cdh/5/hive-1.1.0-cdh6.14.2.tar.gz

我這里準備好了安裝包供下載，或者也可以關注我的公眾號回復hive獲取安裝包

mysql-connector的jar包 鏈接: 
https://pan.baidu.com/s/1PDyYDXX-PIohe-m7pk4GLA  密碼: hftp
hive安裝包 
鏈接: https://pan.baidu.com/s/1GI3mLcvobzGQbOcwruwFzA  密碼: jign

• 規劃安裝目錄

• /kkb/install

• 上傳安裝包到node03服務器中的/kkb/soft路徑下

1.3 解壓

• 解壓安裝包到指定的規劃目錄/kkb/install

[hadoop@node03 ~]$ cd /kkb/soft/
[hadoop@node03 soft]$ tar -xzvf hive-1.1.0-cdh6.14.2.tar.gz -C /kkb/install/

1.4 修改配置文件

• 修改==配置文件hive-env.sh==

• 進入到Hive的安裝目錄下的conf文件夾中

[hadoop@node03 soft]$ cd /kkb/install/hive-1.1.0-cdh6.14.2/conf/

• 重命名hive-env.sh.template

[hadoop@node03 conf]$ mv hive-env.sh.template hive-env.sh

• 修改hive-env.sh

[hadoop@node03 conf]$ vim hive-env.sh

• 如下，修改此文件中HADOOP_HOME、HIVE_CONF_DIR的值（根據自己機器的實際情況配置）

#配置HADOOP_HOME路徑
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh6.14.2/

#配置HIVE_CONF_DIR路徑
export HIVE_CONF_DIR=/kkb/install/hive-1.1.0-cdh6.14.2/conf

修改==配置文件hive-site.xml==

• conf目錄下默認沒有此文件，vim創建即可

[hadoop@node03 conf]$ vim hive-site.xml

• 文件內容如下

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
            <value>true</value>
        </property>
    	<property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03</value>
        </property>
</configuration>

修改==日志配置文件hive-log4j.properties==

• 創建hive日志存儲目錄

[hadoop@node03 conf]$ mkdir -p /kkb/install/hive-1.1.0-cdh6.14.2/logs/

• 重命名生成文件hive-log4j.properties

[hadoop@node03 conf]$ pwd
/kkb/install/hive-1.1.0-cdh6.14.2/conf
[hadoop@node03 conf]$ mv hive-log4j.properties.template hive-log4j.properties
[hadoop@node03 conf]$ vim hive-log4j.properties # 修改文件

• 修改此文件的hive.log.dir屬性的值

#更改以下內容，設置我們的hive的日志文件存放的路徑，便于排查問題
hive.log.dir=/kkb/install/hive-1.1.0-cdh6.14.2/logs/

1.5 拷貝mysql驅動包

• 上傳mysql驅動包，如mysql-connector-java-5.1.38.jar到/kkb/soft目錄中

• 由于運行hive時，需要向mysql數據庫中讀寫元數據，所以==需要將mysql的驅動包上傳到hive的lib目錄下==

[hadoop@node03 ~]$ cd /kkb/soft/
[hadoop@node03 soft]$ cp mysql-connector-java-5.1.38.jar /kkb/install/hive-1.1.0-cdh6.14.2/lib/

1.6 配置Hive環境變量

• 切換到root用戶下

[hadoop@node03 soft]$ su root
Password:

• 打開/etc/profile文件

[root@node03 soft]# vim /etc/profile

• 文章末尾添加

export HIVE_HOME=/kkb/install/hive-1.1.0-cdh6.14.2
export PATH=$PATH:$HIVE_HOME/bin

• 切換回hadoop用戶，并source

[root@node03 soft]# su hadoop
[hadoop@node03 soft]$ source /etc/profile

1.7 驗證安裝

• ==hadoop集群已啟動==

• ==mysql服務已啟動==

• 在node03上任意目錄啟動hive cli命令行客戶端

[hadoop@node03 ~]$ hive

• 查看有哪些數據庫

show databases;

• 說明hive安裝成功

• 退出cli

quit;

<hr  color=#000000 size=1">

到此，相信大家對“Hive的安裝與部署”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！