ambari+hdp安裝

Yun2集群上Ambari+HDP安裝

1. 安裝環境說明：

系統版本：CentOS7

安裝版本：

Ambari版本:2.2.2.0

HDP版本:2.4.2.0

集群機器：

Ambari Server :yun2

Ambari Agent:yun3 ,yun4,yun6,yun18,yun19,yun20,yun21

2. 操作系統環境準備

2.1 配置SSH免密碼登錄

主節點里root用戶登錄執行如下步驟：

ssh-keygen –t rsa

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

分發主節點里配置好的authorized_keys到各從節點:

scp  -r  /root/.ssh/authorized_keys      yun3,: /root/.ssh/authorized_keys

scp  -r  /root/.ssh/authorized_keys      yun4,: /root/.ssh/authorized_keys

scp  -r  /root/.ssh/authorized_keys      yun6,: /root/.ssh/authorized_keys

scp  -r  /root/.ssh/authorized_keys      yun18,: /root/.ssh/authorized_keys

scp  -r  /root/.ssh/authorized_keys      yun19,: /root/.ssh/authorized_keys

scp  -r  /root/.ssh/authorized_keys      yun20,: /root/.ssh/authorized_keys

scp  -r  /root/.ssh/authorized_keys      yun21,: /root/.ssh/authorized_keys

2.2 創建ambari系統用戶和用戶組

只在主節點操作

添加ambari安裝、運行用戶和用戶組，也可以不創建新用戶，直接使用root或者系統其他賬號

useradd admin

passwd admin

2.3 開啟NTP服務  

所有集群上節點都需要操作  

yum install ntp 

systemctl is-enabled ntpd

systemctl enable ntpd

systemctl start ntpd

2.4 關閉防火墻  

所有節點都要設置

systemctl disable firewalld 

systemctl stop firewalld

2.5 關閉SELinux  

所有節點都要設置  

查看SELinux狀態：  

sestatus 

如果SELinux status參數為enabled即為開啟狀態  

SELinux status: enabled  

臨時關閉，不用重啟機器：  

setenforce 0 

修改配置文件需要重啟機器：  

vi /etc/sysconfig/selinux SELINUX=disabled

3.制作本地源 

制作本地源只需在主節點上進行即可  

3.1 相關準備工作  

3.1.1安裝 Apache HTTP 服務器

安裝HTTP 服務器，允許 http 服務通過防火墻(永久)

yum install httpd 

firewall-cmd --add-service=http 

firewall-cmd --permanent --add-service=http

添加 Apache 服務到系統層使其隨系統自動啟動

systemctl start httpd.service

systemctl enable httpd.service

3.1.2 安裝本地源制作相關工具

下載 Ambari 2.2.2 , HDP 2.4.2 的安裝資源,本次安裝是在Centos 7 上，只列出centos7的資源，其他系統的請現在對用系統的資源，不同版本資源請上http://docs.hortonworks.com/index.html上查找

Ambari 2.2.2 下載資源

OS Format URL

CentOS 7 Base URL http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0

CentOS 7 Repo File http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo

CentOS 7 Tarball md5 asc http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz

HDP 2.4.2 下載資源

OS Repository Name Format URL

CentOS 7 HDP Base URL http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0

CentOS 7 HDP Repo File http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo

CentOS 7 HDP Tarball md5 asc http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/HDP-2.4.2.0-centos7-rpm.tar.gz

CentOS 7 HDP-UTILS Base URL http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7

CentOS 7 HDP-UTILS Repo File http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

需要下載的壓縮包如下：

Ambari 2.2.2 http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz  

HDP 2.4.2   http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz 

HDP-UTILS 1.1.0 http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

在httpd網站根目錄,默認是即/var/www/html/，

cd /var/www/html/

根據版本創建目錄：Ambari2.2.2.0-HDP2.4.2.0

mkdir Ambari2.2.2.0-HDP2.4.2.0

進入/var/www/html/ambari/

cd /var/www/html/ambari/

將下載的壓縮包解壓到/var/www/html/ Ambari2.2.2.0-HDP2.4.2.0目錄

tar -zxvf ambari-2.2.2.0-centos7.tar.gz 

tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz 

tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz

驗證httd網站是否可用，可以使用瀏覽器直接訪問下面的地址：

HTTP://192.168.1.202/Ambari2.2.2.0-HDP2.4.2.0

3.3 配置ambari、HDP、HDP-UTILS的本地源

首先下載上面資源列表中的相應repo文件，修改其中的URL為本地的地址，相關配置如下：

ambari.repo:

#VERSION_NUMBER=2.2.2.2.0

[ambari-2.2.2.0]

name=ambari Version - ambari-2.2.2.0

baseurl=http://192.168.1.202/Ambari2.2.2.0-HDP2.4.2.0/AMBARI-2.2.2.0/centos7/2.2.2.0-460

gpgcheck=1

gpgkey=http://192.168.1.205/Ambari2.2.2.0-HDP2.4.2.0/AMBARI-2.2.2.0/centos7/2.2.2.0-460/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

hdp.repo:

#VERSION_NUMBER=2.4.2.0-258

[HDP-2.4.2.0]

name=HDP Version - HDP-2.4.2.0

baseurl=http://192.168.1.202/Ambari2.2.2.0-HDP2.4.2.0/HDP/centos7/2.x/updates/2.4.2.0

gpgcheck=1

gpgkey=http://192.168.1.202/Ambari2.2.2.0-HDP2.4.2.0/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

[HDP-UTILS-1.1.0.20]

name=HDP Utils Version - HDP-UTILS-1.1.0.20

baseurl=http://192.168.1.202/Ambari2.2.2.0-HDP2.4.2.0/HDP-UTILS-1.1.0.20/repos/centos7

gpgcheck=1

gpgkey=http://192.168.1.202/Ambari2.2.2.0-HDP2.4.2.0/HDP-UTILS-1.1.0.20/repos/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

將上面的修改過的源放到/etc/yum.repos.d/下面

yum clean all 

yum list update 

yum makecache 

yum repolist

4.進行安裝Ambari

4.1 安裝Ambari2.2.2

4.1.1安裝Ambari

yum install ambari-server

如果報錯，提示：

Error: Package: ambari-server-2.2.2.0-460.x86_64 (ambari-2.2.2.0)

Requires: postgresql-server >= 8.1

原因是postgresql沒有安裝或版本太低，將Postgresql相關RPM安裝包拷入倉庫中，然后安裝

yum install postgresql-devel-9.2.7-1.el7.x86_64.rpm

yum install postgresql-server-9.2.7-1.el7.x86_64.rpm

yum install postgresql-9.2.7-1.el7.x86_64.rpm

之后再安裝Ambari

yum install postgresql-9.2.7-1.el7.x86_64.rpm

4.1.2配置Ambari

ambari-server setup 

下面是配置執行流程，按照提示操作  

1. 檢查SELinux是否關閉，輸入y：

Using python  /usr/bin/python 

Setup ambari-server 

Checking SELinux...

SELinux status is 'disabled' 

WARNING: SELinux is set to 'permissive' mode and temporarily disabled.

OK to continue [y/n] (y)? y

2. 提示是否自定義設置。輸入：y 

 Customize user account for ambari-server daemon [y/n] (n)? y 

3. ambari-server 賬號。直接回車 

Enter user account for ambari-server daemon (root): 

Adjusting ambari-server permissions and ownership...

4. 檢查防火墻，如果關閉則不用操作  

Checking firewall status... 

Redirecting to /bin/systemctl status  iptables.service 

5. 設置JDK。輸入：3 ,自定義JDK

Checking JDK...

Checking JDK...

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

[3] Custom JDK

==============================================================================

Enter choice (1): 3

6. 如果上面選擇3自定義JDK,則需要設置JAVA_HOME。輸入：/usr/local/jdk

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts. 

WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts. 

Path to JAVA_HOME: /usr/local/jdk  Validating JDK on Ambari Server...done. Completing setup... 

7. 數據庫配置。選擇：y 

 Configuring database... Enter advanced database configuration [y/n] (n)? y 

8. 選擇數據庫類型。輸入：1  ,Ambari內置PostgreSQL數據庫

Configuring database... ============================================================================== 

Choose one of the following options: 

[1] - PostgreSQL (Embedded) 

[2] - Oracle 

[3] - MySQL 

[4] – PostgreSQL

[5] - Microsoft SQL Server (Tech Preview) 

[6] - SQL Anywhere 

============================================================================== 

Enter choice (1): 1 

9. 設置數據庫的具體配置信息，根據實際情況輸入，如果和括號內相同，則可以直接回車。  

Hostname (localhost):  

Port ():  

Database name (ambari): 

Username (ambari):ambari

Enter Database Password (bigdata):ambari

4.1.3啟動Amabri

執行啟動命令，啟動Ambari服務

ambari-server start

成功啟動后在瀏覽器輸入Ambari地址：

http://192.168.1.202:8080/

出現登錄界面，默認管理員賬戶登錄， 賬戶：admin 密碼：admin

登錄成功后出現下面的界面，至此Ambari的安裝成功 

4.2 安裝安裝HDP 2.4.2 配置集群

點擊上面登錄成功頁面的Launch Install Wizard 按鈕進行集群配置

4.2.1設置集群名稱 

4.2.2設置HDP 安裝源

選擇HDP2.4 ,并且設置Advanced Repository Options 的信息，本次使用本地源，所以修改對用系統的安裝源為本地源地址。

4.2.3設置集群機器 

4.2.4 Host 確認

確認前面配置集群中hosts列表 中的機器是否都可用，也可以移除相關機器，集群中機器Success后進行下一步操作。

4.2.5 選擇要安裝的服務

4.2.6各個服務Master配置 

4.2.6 服務的Slaves 和 Clients節配置

4.2.7 服務的客制化配置 

其中Ambari Metrics中的Grafana Admin Password必須要在初始化時設置：密碼設置為：grafana

HIVE的METASTORE DATAABSE的DATABASE Password也必須設置，設置為：hive

4.2.8 顯示配置信息

 4.2.9開始安裝

安裝各個服務，并且完成安裝后會啟動相關服務，安裝過程比較長，如果中途出現錯誤，請根據具體提示或者log進行操作。  

全部安裝成功界面如下