vcenter5.5升級到6.0失敗的分析與思考--數據庫大于50G

事件：vcenter5.5升級到6.0失敗

1.升級時，有十幾個Pl (存儲過程）失效

2.30G temp 表空間很快就被用完，臨時擴充表空間到99G，空間也快被用滿。

3. 檢查升級過程中執行的SQL語句，發現如下一條語句執行時間超長

INSERT INTO VPX_HIST_STAT1_224 SELECT  INSERTED.COUNTER_ID,HS.TIME_ID,SUM(STAT_VAL)  FROM VPX_HIST_STAT1_224 HS INNER JOIN VPX_STAT_COUNTER SC ON HS.COUNTER_ID = SC.COUNTER_ID   INNER JOIN VPX_DEVICE D ON SC.DEVICE_ID=D.DEVICE_ID   INNER JOIN VPX_OBJECT_HIERARCHY H ON SC.ENTITY_ID = H.STAT_ENTITY_ID  INNER JOIN (SELECT SC.ENTITY_ID, SC.COUNTER_ID,  CASE WHEN SD49.NAME='swapused' AND SD49.GROUP_NAME='mem' AND SD49.ROLLUP_TYPE=0  THEN (SELECT ID FROM VPX_STAT_DEF  WHERE NAME='swapped' AND GROUP_NAME='mem' AND ROLLUP_TYPE=0)  ELSE SC.STAT_ID END MODSTAT_ID, NC.AGGR_TO, NC.AGGR_TYPE  FROM VPX_STAT_ID T  INNER JOIN VPX_STAT_COUNTER SC ON SC.ENTITY_ID=T.ID  INNER JOIN VPX_NEW_COUNTERS NC ON NC.COUNTER_ID = SC.STAT_ID  INNER JOIN VPX_STAT_DEF SD49 ON SD49.ID = SC.STAT_ID) INSERTED  ON  H.PARENT_STAT_ENTITY_ID=INSERTED.ENTITY_ID AND INSERTED.MODSTAT_ID=SC.STAT_ID  AND (INSERTED.AGGR_TYPE=H.ENTITY_TYPE OR H.ENTITY_TYPE='R' )  AND (H.ENTITY_TYPE=INSERTED.AGGR_TO OR (INSERTED.AGGR_TO='C' AND H.ENTITY_TYPE IN ('V','H')))  WHERE  D.DEVICE_NAME IS NULL GROUP BY HS.TIME_ID,SC.STAT_ID,INSERTED.COUNTER_ID 

現象： 此語句一直被執行，temp 里空間也是被此語句占滿

4. 在升級界面沒有反應一個多小時后，報升級失敗。

分析：

升級過程在同版本的其他vc上非常順利，但這個生產VC上卻報錯。檢查了下庫，發現在這個VC上，VCTBS表空間有74G,B比其他VC上的數據庫都大。

翻看官方的KB，發現一個KB中提到如果數據庫過大超50G，表的行數超8億，容易出現升級緩慢和失敗，需要重新減小數據庫尺寸再升級。

如果vCenter Server數據庫是非常大的（50 GB或更多），在vpx_hist_stat#表的行數很高（8億以上），數據庫匯總腳本可能難以處理的數據量。要使匯總的腳本運行速度更快，則需要減少vCenter Server數據庫的大小。

分析：

要減小 vCenter Server 數據庫的大小，可以將刪除所有歷史數據。 但為了安全，需要保留一些歷史性能數據而不是全部刪除。

解決：

1、確保已經完好備份 vCenter Server Database。

2、關閉 VMware VirtualCenter Server 服務及任何其他使用該數據庫的服務

3、截斷 VPX_HIST_STAT1 表及相應的 VPX_SAMPLE_TIME1 表。 截斷完成后，驗證匯總作業現在是否已成功完成。

要截斷表，請執行以下 SQL 語句：

truncate table VPX_HIST_STAT1;

注意： 在 vCenter Server 5.1 和 5.5 中，表名稱為 VPX_HIST_STAT1_n。

truncate table VPX_SAMPLE_TIME1;

注意： 要減小 vCenter Server 數據庫的大小，還可以刪除 VPX_EVENT、VPX_EVENT_ARG 和 VPX_TASK 表中的數據。 要刪除這些表中的數據，請參見 Purging old data from the database used by vCenter Server (1025914) 或 Purging old data from the database used by VirtualCenter 2.x (1000125)。

如果匯總作業未成功完成，則您可能需要截斷 VPX_HIST_STAT2 表及相應的 VPX_SAMPLE_TIME2 表。 繼續截斷 VPX_HIST_STAT[1-4] 表及相應的VPX_SAMPLE_TIME[1-4] 表，直到匯總作業成功完成。

注意： vCenter Server 4.1 和 5.0 中的以下其他表也可以截斷以進一步減小 vCenter Server 數據庫的大小。 在處理性能數據并將其移至VPX_HIST_STAT1 之前，VPX_TEMPTABLEx 表是性能數據的暫存/緩存區域。

truncate table VPX_TEMPTABLE0;
truncate table VPX_TEMPTABLE1;
truncate table VPX_TEMPTABLE2;
實際解決辦法：

按以下步驟來操作

1. 1.       https://kb.vmware.com/kb/2110031 下載ORACLE腳本

2. 2.       上傳到ORACLE服務器上

3. 3.       運行腳本

SQL> @/2110031_Oracle_task_event_stat.sql

Table created.

…..

Enter value for 1: 1

Enter value for 2: 1

Enter value for 3: 1

-------------------------------------------------------------------

Database cleanup may take long time depends on size of VPX_TASK,

VPX_EVENT, VPX_SAMPLE_TIME1, VPX_SAMPLE_TIME2, VPX_SAMPLE_TIME3,

VPX_SAMPLE_TIME4 and all VPX_HIST_STATx_y tables.

-------------------------------------------------------------------

Staring cleanup database at 03-07-2017 09:48:41

---------------------------------------------------------------

Deleting tasks older than  03-06-2017 01:48:41

Deleting events older than  03-06-2017 01:48:54

Deleting statistics older than  03-06-2017 01:50:01

---------------------------------------------------------------

Cleanup database completed at 03-07-2017 09:50:44

Table dropped.

…

1. 4.       正常升級.

2. 5.       檢查臨時表空間使用率

TABLESPACE_NAME                TOTAL_BYTES FREE_BYTES  USE_BYTES   USE

------------------------------ ----------- ----------- ----------- -------

SYSAUX                           1,670.000     208.250   1,461.750  87.53%

UNDOTBS1                         6,075.000   4,031.063   2,043.938  33.65%

VUM                              1,024.000   1,013.688      10.313   1.01%

USERS                                5.000       3.688       1.313  26.25%

SYSTEM                             820.000       9.125     810.875  98.89%

VCTBS                           73,727.984  62,865.250  10,862.734  14.73%

TEMP                            28,672.000  23,132.000   5,540.000  19.32%

然后等升級完成就可以了

關于匯總腳本

1. 要運行匯總腳本，請執行以下步驟：
   
   

   1. 使用 SQL Management Studio 連接到 vCenter Server 的 SQL 數據庫。

   2. 導航到 SQL Server Agent > 作業。

   3. 選擇各個匯總作業，然后右鍵單擊并選擇啟動作業于步驟。
      
      

2. 啟動 VMware VirtualCenter Server 服務及任何其他在步驟 2 中停止的服務。

截斷 vCenter Server 5.1、5.5 和 6.0 中的所有性能數據

有關截斷 vCenter Server 和 vCenter Server Appliance 5.1、5.5 及 6.0 中數據的信息，請參見 Selective deletion of tasks, events, and historical performance data in vSphere 5.x and 6.x (2110031)