0009-如何升級Cloudera Manager和CDH

溫馨提示：要看高清無碼套圖，請使用手機打開并單擊圖片放大查看。

1.文檔編寫目的

本文檔講述如何升級Cloudera Manager和CDH，通過本文檔，您將學習到以下知識：

1.如何對Cloudera Manager進行停機升級

2.如何對CDH進行停機升級

3.如何在不影響集群作業的情況下進行CDH滾動升級

文檔主要分為以下幾步：

1.Cloudera升級概述

2.Minor版本Cloudera Manager和CDH升級

3.Maintenance版本滾動升級CDH

4.滾動升級時進行任務驗證

5.集群升級完成后功能驗證

這篇文檔將重點介紹CDH升級，并基于以下假設：

1.CDH5.4.3環境已搭建并正常運行

2.集群服務（CM、HBase、HDFS、Hive、Hue、Oozie、Spark、Yarn、Zookeeper）

3.Cloudera Manager使用rpm安裝

4.CDH使用parcels安裝

5.集群未配置Kerberos

以下是本次測試環境，但不是本操作手冊的硬限制：

1.操作系統：Redhat6.5

2.舊CM/CDH版本：CM5.4.3/ CDH5.4.3

3.CM/CDH的目標升級版本：CM5.11.1/ CDH5.11.1

4.采用sudo權限的ec2-user用戶進行操作

升級建議：

1.針對CDH的Maintenance Version升級，可以使用滾動升級，比如：5.4.x升級到5.4.y，這種版本升級主要修復bug，不改動API，也不涉及新的功能。

2.針對CDH的Minor Version升級，建議停機升級或者滾動升級(如果跨度不大)，比如5.x.x升級到5.y.y，這種版本升級主要是增加新的功能和新的API。

3.針對CDH的Major Version升級，建議必須停機升級，而且在升級前需要對已有應用和作業的改造和升級進行完備的測試驗證，相應升級時停機時間會較長，這種版本升級一般是Hadoop相關組件的大版本升級，可能會改動API。

2.Cloudera升級概述

下面描述的流程適用于由Cloudera Manager管理的集群，對于不是由Cloudera Manager管理的集群升級，請參考：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh\_ig\_upgrade\_command\_line.html#xd\_583c10bfdbd326ba--5a52cca-1476e7473cd--7f99

你可以使用tarballs或operating system packages來升級Cloudera Manager，然后使用packages或parcels來升級CDH。同時有可能還需要安裝一個新版JDK。升級Cloudera Manager的同時Cloudera Navigator也會被升級。

CDH和Cloudera Manager不用同時升級，但是需要保證Cloudera Manager和CDH版本的兼容。Cloudera Manager可以管理當前或以前的major版本的CDH，或相同minor版本的CDH，或較低minor版本的CDH。比如，Cloudear Manager 5.7.1可以管理CDH5.7.2，CDH5.6.1和CDH4.8.6，但是不能管理CDH5.8.1. Cloudera Manager5.x不能管理CDH3.x。

升級時具體有如下幾種選擇：

2.1評估升級影響

一般需要規劃一個足夠長的維護窗口(停機時間)進行升級。根據需要升級的組件，集群的節點數，以及不同的硬件情況，你可能需要一整天來進行升級。開始升級之前，你需要做好一些前置條件準備以及關鍵數據備份，這篇文檔在講述升級步驟時也會說明。

升級之前，需要查閱Cloudera Manager的https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg\_release\_notes.html，了解API更改，不推薦的功能，新的功能以及不兼容的更改。同時需要檢查https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn\_consolidated\_pcm.html來確認支持的操作系統，JDK，數據庫和其他組件。

一共有三種版本的升級：major，minor和maintenance。

Major升級

Major版本的升級通常有以下特征：

Hadoop的大版本變化，涉及很多更新內容

• 不兼容的數據格式
• Cloudera Manager界面的重大變化
• Cloudera Manager的數據庫schema變動，不過可以在升級過程中自動被處理
• 需要較長的停機時間
• 需要重新部署客戶端

你也可以只升級major版本，而保持minor版本不變，比如你可以從4.8.1升級到5.8.0. 為了方便下一個major版本的升級(CDH6)，我們建議您現在可以將集群升級到5.x

Minor版本升級

Minor版本升級是指基于同樣的major版本將minor版本進行升級，比如從5.4.x升級到5.8.x，一般有以下特征：

• 新的功能
• Bug修復
• 可能存在的數據庫schema更改會在Cloudera Manager升級時自動被處理

一般來說，minor版本的升級不包括不兼容的更改或者數據格式的變化。客戶端配置(https://www.cloudera.com/documentation/enterprise/latest/topics/cm\_mc\_client\_config.html#cmug\_topic\_5\_9)會被重置。

Maintenance版本升級

Maintenance版本升級主要是重大bug修復或者解決一些安全問題。不會有兼容性修改和新功能。

2.2Cloudera Manager升級概述

升級Cloudera Manager包括以下步驟：

1.在CM節點上升級Cloudera Manager Server，使用操作系統的命令，比如Redhat的yum。也可以手動通過tarballs來升級。tarballs升級比較適合集群中已經有一些可以同時操作多臺機器的腳本，程序或工具。

2.在所有主機上升級Cloudera Manager agent，Cloudera Manager的升級向導可以幫助你升級agent(JDK升級可選)，同時也可以手動的通過tarballs升級JDK和agent。在這個過程中，CDH并不會被升級。

Cloudera Manager升級，可以參考官網文檔：https://www.cloudera.com/documentation/enterprise/latest/topics/cm\_upgrade.html#concept\_q1q\_mbs\_wx

2.3CDH升級概述

CDH升級包含Hadoop相關組件的升級，你可以使用Cloudera Manager來升級CDH，采用parcel或package的方式都可以。

2.3.1使用Parcel升級(同時適用于滾動升級)

我們建議使用parcels來升級CDH，因為Cloudera Manager管理這些parcels自動下載，分發和激活。有兩種方式的升級：

• Parcels:需要重啟集群才能完成升級。
• 滾動升級：如果HDFS啟用了高可用HA，可以在不重啟集群的情況下進行滾動升級。為了簡化升級步驟，可以考慮從package切換到parcels，這樣Cloudera Manager可以大大簡化升級步驟。在升級CDH5的時候你從package切換到parcels也可以。

2.3.2使用Packages升級

使用packages升級需要你提前下載好需要升級的packages，然后手動的運行package更新命令來升級，注意所有主機都需要進行相同的操作。

從Cloudera Manager5.3開始，CDH提供向導式的升級包括major版本升級(CDH5到CDH5)，minor版本升級(CDH5.x到5.y)和maintenance版本升級(CDHa.b.x到CDHa.b.y)。無論你是使用parcels安裝還是package都支持，但是package需要你手動安裝和升級，但是parcels可以被Cloudera Manager自動安裝和升級。

2.4Cloudera Navigator升級概述

當升級Cloudera Manager的時候，Cloudera Navigator Metadata和Audit servers會被自動升級。你還可以升級其他的Navigator組件比如Cloudera Navigator Key Trustee Server, Cloudera Navigator Key HSM和Cloudera Navigator Encrypt。當然也可以選擇不升級。

2.5JDK升級

在升級Cloudera Manager和CDH之前，請確保集群內的所有主機都是使用受支持的Oracle JDK，參考：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn\_consolidated\_pcm.html。同時，所有主機必須使用相同版本的JDK：參考：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh\_cm\_upgrading\_to\_jdk8.html#xd\_583c10bfdbd326ba-590cb1d1-149e9ca9886--7c46

3.Minor版本升級

升級前置條件：

1.確保當前系統版本支持您要升級到的新版本CDH5和Cloudera Manager5

2.原Cloudera Manager和CDH的版本為5.4.3

3.Cloudera Manager和CDH的目標升級版本為5.11.1

3.1Cloudera Manager升級

本章節主要講述如何使用RPM包升級Cloudera Manager。

3.1.1升級前準備

3.1.1.1Cloudera Manager的yum源配置

1.準備待升級rpm包

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/RPMS/x86_64/cloudera-manager-agent-5.11.1-1.cm5111.p0.9.el6.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/RPMS/x86_64/cloudera-manager-daemons-5.11.1-1.cm5111.p0.9.el6.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/RPMS/x86_64/cloudera-manager-server-5.11.1-1.cm5111.p0.9.el6.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/RPMS/x86_64/cloudera-manager-server-db-2-5.11.1-1.cm5111.p0.9.el6.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/RPMS/x86_64/enterprise-debuginfo-5.11.1-1.cm5111.p0.9.el6.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

2.將下載的安裝包放在/var/www/html/cm5.11.1目錄下

進入cm5.11.1目錄，運行命令：

[ec2-user@ip-172-31-8-141 cm5.11.1]$ sudo createrepo .

3.驗證是否能通過瀏覽器訪問

4.配置/etc/yum.repos.d/cloudera-manager.repo文件，內容如下

[cloudera-manager]

name = Cloudera Manager, Version 5.11.1

baseurl = http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.1/

gpgcheck = 0

5.測試yum源是否正常

[ec2-user@ip-172-31-8-141 yum.repos.d]$ sudo yum clean all

[ec2-user@ip-172-31-8-141 yum.repos.d]$ sudo yum repolist

3.1.1.2備份Cloudera Manager數據庫

1.停止Cloudera Management Service服務

2.備份Cloudera Manager數據庫，在命令行執行如下命令

l Cloudera Manager Server

l Cloudera Navigator Audit Server

l Cloudera Navigator Metadata Server

l Activity Monitor

l Reports Manager

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u cm -p --databases cm >cm.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u nas -p --databases nas >nas.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u nms -p --databases nms >nms.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u am -p --databases am >am.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u rm -p --databases rm >rm.dump

查找數據庫相關的信息，可從如下文件中查找

ClouderaManager Server的數據庫信息，通過配置文件/etc/cloudera-scm-server/db.properties獲取

其它服務的數據庫信息，可以通過CM管理界面獲取

3.1.2升級步驟

1.停止Cloudera Management Service服務

2.停止Cloudera Manager Server和agent

停止所有服務器的cloudera-scm-agent服務

[ec2-user@ip-172-31-8-141 ~]$ sudo service cloudera-scm-agent stop

在運行Cloudera Manager服務器的主機上，停止cloudera-scm-server服務

[ec2-user@ip-172-31-8-141 cdh-shell-master]$ sudo service cloudera-scm-server stop

3.在Cloudera Manager上備份以下目錄

[ec2-user@ip-172-31-8-141 cm_bak]$ sudo scp -r /etc/cloudera-scm-server/ /home/ec2-user/upgrade/cm_bak/

[ec2-user@ip-172-31-8-141 cm_bak]$ sudo scp -r /etc/cloudera-scm-agent/ /home/ec2-user/upgrade/cm_bak/

注意文件目錄權限與原數據目錄權限一致。

4.運行以下命令進行Cloudera Manager Server升級

[ec2-user@ip-172-31-8-141 cm_bak]$ sudo yum -y upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-agent

檢查是否安裝成功

[ec2-user@ip-172-31-8-141 cm_bak]$ rpm -qa |grep cloudera-

5.啟動Cloudera Manager Server服務

[ec2-user@ip-172-31-8-141 cloudera-scm-agent]$ sudo service cloudera-scm-server start

6.登錄Cloudera Manager管理控制臺，顯示升級向導

7.選擇升級Cloudera Manager Agent軟件包，繼續

8.選擇“自定義存儲庫”，配置2.1.2章節的地址，點擊“繼續”

9.選擇JDK選擇，點擊“繼續”

10.根據要求輸入SSH登錄憑證，點擊“繼續”

11.等待安裝完成，點擊“繼續”

12.檢查完成，點擊“完成”

13.進入審核更改向導界面，點擊“繼續”

14.選擇重啟Cloudera Management Service，點擊“繼續”

15.服務重啟成功，點擊“完成”

集群服務任在正常運行

Cloudera Manager在升級后報告過時的配置，請重新啟動集群服務并重新部署客戶端配置

3.1.3Cloudera Manager升級驗證

1.查看Cloudera Manager版本

版本顯示為升級后版本

2.驗證Agent是否向Cloudera Manager發送心跳

默認情況下，該心跳為15s一次；

3.檢查所有主機

4.集群歷史監控數據

3.2CDH升級

3.2.1升級前準備

3.2.1.1準備CDH的parcels包

1.選擇cdh6.11.1版本下載對應的parcels

wget http://archive.cloudera.com/cdh6/parcels/5.11.1/CDH-5.11.1-1.cdh6.11.1.p0.4-el6.parcel

wget http://archive.cloudera.com/cdh6/parcels/5.11.1/CDH-5.11.1-1.cdh6.11.1.p0.4-el6.parcel.sha1

wget http://archive.cloudera.com/cdh6/parcels/5.11.1/manifest.json

2.將下載下來的3個文件，放在/var/www/html/cdh6.11.1目錄下

3.測試通過http是否能正常訪問

配置完成后，供后面升級CDH使用

3.2.2升級流程

1.停止集群服務

2.備份NameNode上的HDFS Metastore

在NameNode節點上備份該目錄到指定目錄下

[ec2-user@ip-172-31-8-141 dfs]$ cd /dfs/

[ec2-user@ip-172-31-8-141 dfs]$ sudo tar -czvf /home/ec2-user/upgrade/nn_bak/nn_backup.tar.gz nn/

3.備份數據庫

l Cloudera Manager Server

[ec2-user@ip-172-31-8-141 hadoopdb_bak]$ mysqldump -u hue -p --database hue >hue.dump

[ec2-user@ip-172-31-8-141 hadoopdb_bak]$ mysqldump -u hive -p --database metastore >metastore.dump

[ec2-user@ip-172-31-8-141 hadoopdb_bak]$ mysqldump -u oozie -p --database oozie >oozie.dump

[ec2-user@ip-172-31-8-141 hadoopdb_bak]$ mysqldump -u sentry -p --database sentry >sentry.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u cm -p --databases cm >cm.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u nas -p --databases nas >nas.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u nms -p --databases nms >nms.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u am -p --databases am >am.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u rm -p --databases rm >rm.dump

4.向集群中添加新版的CDH存儲庫

5.運行升級向導

6.進入升級向導界面

7.確認CDH版本是否正確，點擊“繼續”

8.選擇“是”，點擊“繼續”

9.點擊“繼續”

10.等待安裝完成后，點擊“繼續”

11.檢查主機完成后，點擊“繼續”

12.選擇完整集群升級，點擊“繼續”

13.等待升級集群命令完成，點擊“繼續”

14.集群升級成功

15.最終化元數據升級

在最終化元數據之前，進行幾天甚至幾周的運行觀察集群是否正常，在發現所有任務都沒有任何異常情況后，再進行最終化元數據操作。一旦進行最終化元數據之后，就不能回滾到老的版本了，除非有數據備份。對NameNode的主備節點都執行最終化元數據升級操作：

3.2.3功能驗證

1.運行一個MapReduce作業

登錄集群服務器，操作如下指令

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

2.用Hue測試

Hue正常登錄，通過Hue操作HBase，向HBase中新建一個test表

向test表中添加一條數據

數據添加成功

通過hbase-shell查看該表是否存在

3.測試hive

beeline登錄hive進行測試

Hue測試hive

能正常查詢test表數據

4.CDH的Maintenance版本滾動升級

升級前置條件：

1. 確保當前系統版本支持您要升級到的新版本CDH5和Cloudera Manager5
2. 原Cloudera Manager和CDH的版本為5.10.0
3. Cloudera Manager和CDH的目標升級版本為5.10.2
4. 集群已開啟NameNode高可用
5. 集群已開啟Resource Manager高可用

4.1Cloudera Manager升級

4.1.1升級前準備

4.1.1.1Cloudera Manager 的yum源配置

1.下載Cloudera Manager的RPM安裝包

sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.2/RPMS/x86_64/cloudera-manager-agent-5.10.2-1.cm5102.p0.9.el6.x86_64.rpm

sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.2/RPMS/x86_64/cloudera-manager-daemons-5.10.2-1.cm5102.p0.9.el6.x86_64.rpm

sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.2/RPMS/x86_64/cloudera-manager-server-5.10.2-1.cm5102.p0.9.el6.x86_64.rpm

sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.2/RPMS/x86_64/cloudera-manager-server-db-2-5.10.2-1.cm5102.p0.9.el6.x86_64.rpm

sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.2/RPMS/x86_64/enterprise-debuginfo-5.10.2-1.cm5102.p0.9.el6.x86_64.rpm

sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.2/RPMS/x86_64/jdk-6u31-linux-amd64.rpm

sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.2/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

2.將下載的的7個RPM安裝包，放在/var/www/html/cm5.10.2目錄下

3.在該目錄下執行如下命令

[ec2-user@ip-172-31-8-141 cm5.10.2]$ sudo createrepo .

4.通過瀏覽器測試是否能正常訪問

5.修改/etc/yum.repos.d/cloudera-manager.repo配置

[ec2-user@ip-172-31-8-141 cm5.10.2]$ sudo vim /etc/yum.repos.d/cloudera-manager.repo

[cloudera-manager]

name = Cloudera Manager, Version 5.10.2

baseurl = http://ip-172-31-8-141.ap-southeast-1.compute.internal/cm5.10.2

gpgcheck = 0

6.測試Cloudera Manager的yum源是否配置好

[ec2-user@ip-172-31-8-141 cm5.10.2]$ sudo yum clean all

[ec2-user@ip-172-31-8-141 cm5.10.2]$ sudo yum repolist

4.1.1.2備份Cloudera Manager數據庫

1.停止Cloudera Management Service服務和Cloudera ManagerService服務

通過Cloudera Manager 控制臺，停止ClouderaManagement Service服務

通過如下命令停止Cloudera Manager Server服務

[ec2-user@ip-172-31-8-141 ~]$ sudo service cloudera-scm-server stop

2.備份Cloudera Manager數據庫，在命令行執行如下命令

• Cloudera Manager Server
• Activity Monitor
• Reports Manager

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u cm -p --databases cm >cm.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u am -p --databases am >am.dump

[ec2-user@ip-172-31-8-141 cmdb_bak]$ mysqldump -u rm -p --databases rm >rm.dump

4.1.2升級流程

1.確保Cloudera Management Service服務已停止

2.在所有安裝Cloudera Manager Agent的主機上執行以下命令，停止Agent服務

[ec2-user@ip-172-31-8-141 cdh-shell-master]$ sudo service cloudera-scm-agent stop

3.向集群提交一個MR作業

4.運行以下命令進行Cloudera Manager Server升級

[ec2-user@ip-172-31-8-141 cm_bak]$ sudo yum -y upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-agent

檢查是否安裝成功

[ec2-user@ip-172-31-8-141 cm_bak]$ rpm -qa |grep cloudera-

5.啟動Cloudera Manager Server服務,命令如下

[ec2-user@ip-172-31-8-141 cdh-shell-master]$ sudo service cloudera-scm-server start

6.登錄Cloudera Manager控制臺，進入顯示升級向導

7.選擇升級Cloudera Manager Agent，點擊“繼續”

8.輸入Cloudera Manager存儲庫URL，點擊“繼續”

9.勾選java選項，點擊“繼續”

10.輸入SSH登錄憑證，點擊“繼續”

11.等待Cloudera Manager Agent升級完成，點擊“繼續”

12.檢查完成后，點擊“繼續”

13.完成升級，進入升級向導頁面

14.根據需要進行修改，點擊“繼續”

15.重啟Cloudera Management Service，點擊“繼續”

16.點擊“完成”，進入Cloudera Manager控制臺主頁

升級成功，并且Hadoop的相關服務均正常。

17.升級完成MR作業任在運行

18.作業運行成功

19.統計結果

4.1.3功能驗證

1.查看Cloudera Manager版本

版本已顯示為5.10.2表明升級成功。

2.驗證Agent是否向Cloudera Manager發送心跳

默認情況下，該心跳為15s一次；

3.檢查所有主機

4.集群歷史監控數據

歷史監控數據正常，只有在升級Cloudera Manager Agent時段內無數據。

4.2滾動升級CDH

4.2.1升級前準備

4.2.1.1準備CDHparcels包

1.選擇cdh6.10.0版本下載對應的parcels

wget http://archive.cloudera.com/cdh6/parcels/5.10.2/CDH-5.10.2-1.cdh6.10.2.p0.5-el6.parcel

wget http://archive.cloudera.com/cdh6/parcels/5.10.2/CDH-5.10.2-1.cdh6.10.2.p0.5-el6.parcel.sha1

wget http://archive.cloudera.com/cdh6/parcels/5.10.2/manifest.json

2.將下載下來的3個文件，放在/var/www/html/cdh6.10.2目錄下

3.測試通過http是否能正常訪問

配置完成后，供后面升級CDH使用

4.2.1.2運行MR作業

1.在升級前環境前提交一個WordCount的MapReduce作業

2.查看作業運行情況

3.作業運行完成

4.統計結果

4.2.1.3配置CDH的存儲庫URL

根據標識進入CDH存儲庫URL配置界面

通過Cloudera Manager 控制臺配置CDH的存儲庫URL

保存更改，點擊“檢查新parcels”

配置成功。

4.2.1.4備份HDFS元數據

使用如下命令備份HDFS元數據信息

[ec2-user@ip-172-31-8-141 upgrade]$ sudo -u hdfs hadoop dfsadmin -fetchImage /home/ec2-user/upgrade/hdfs_metastore_bak

4.2.2升級流程

1.通過Cloudera Manager控制臺進入集群升級向導

2.選擇CDH版本，點擊“繼續”

3.勾選后，點擊“繼續”

4.集群軟件檢查正常，點擊“繼續”

5.等待parcels安裝成功，點擊“繼續”

6.主機檢查通過，點擊“繼續”

7.選擇滾動升級，根據需要設置參數，點擊“繼續”

8.滾動升級過程中，向集群提交MR作業

作業正常運行

9.等待滾動升級命令完成，點擊“繼續”

10.CDH升級完成

11.MR作業運行完成

12.統計結果

4.2.3功能驗證

1.進入Cloudera Manager控制臺主頁，查看集群是否正常

2.向集群提交一個MR作業

登錄集群服務器，操作如下指令

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

作業正常運行

3.用Hue測試

Hue正常登錄，通過Hue操作HBase，向test表中添加一條數據

數據添加成功

通過hbase-shell查看新增數據

4.測試Hive

beeline登錄hive進行測試

向test表中插入一條數據

查看test表數據

Hue測試hive

能正常查詢test表數據，查詢結果與命令行一致

5.使用Hue測試Impala

查詢test表

命令行查詢

4.3CDH升級過程中任務執行耗時對比

在升級CM的過程中是不會影響作業資源使用；

在進行CDH滾動升級過程中由于重啟服務導致計算資源損失，因此作業耗時有所增加；

醉酒鞭名馬，少年多浮夸！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數據玩的花！
溫馨提示：要看高清無碼套圖，請使用手機打開并單擊圖片放大查看。