vSAN群集只顯示一個vSAN存儲

在同一個vSphere數據中心中，如果創建多個vSAN群集，那么每個vSAN群集的ESXi主機應該都是全新安裝的操作系統。如果從一個vSAN群集中移除ESXi主機，再在同一個數據中心中創建新的vSAN群集，那么只會顯示一個vSAN存儲，并且vSAN存儲的容量大小顯示不正確。近期在使用vSphere 6.7.0 U3進行測試時就出現了這個故障，現在將實驗回顧一下，希望對其他讀者有所幫助。在本次實驗中，ESXi版本號為6.7.0-14320388，vCenter Server版本號為6.7.0-14368073，這是vSphere 6.7.0 U3的版本。

1 問題現象

當前有一個vSAN的實驗環境，4臺ESXi主機，管理地址分別是172.18.96.41～44，vSAN的地址是192.168.0.41～44，vSAN專門用了一臺萬兆交換機。管理地址接到另一臺千兆交換機上。每臺機器64G內存，每臺機器一個磁盤組，1塊SSD、2塊2TB，這臺vSAN使用正常。正常情況下vSAN存儲的容量是14.55TB。

然后在這個vCenter中，添加了一個新的群集，2節點vSAN。每臺ESXi主機96G內存，這2臺主機vSAN流量網卡使用光纖直連（萬兆網卡）。每臺1個磁盤組，1個SSD，3塊2TB。見證主機在另外一臺單獨的ESXi主機中。正常情況下這個vSAN存儲的容量是10.92TB。

自從這個vSAN群集添加之后，在vSphere Client中，無論是瀏覽原來的vSAN群集還是瀏覽現在的這個新添加的vSAN群集，顯示的vSAN存儲只有后來添加的這一個了（容量為10.92TB）。如圖1、圖2、圖3所示。

圖1 數據中心中查看存儲

圖2 2節點直連看存儲

圖3 原來的vSAN存儲

原來的vSAN群集磁盤管理、vSAN監控信息都正常，如圖4所示。

圖4 原來的vSAN磁盤管理

第2個vSAN群集磁盤管理中顯示也是正常，如圖5所示。

圖5 第2個vSAN群集磁盤管理

使用SSH登錄第一個vSAN群集中的其中一臺主機，執行esxcli vsan cluster unicastagent list，看到單播信息正常，如圖6所示。

圖6

登錄第2個vSAN群集中的一臺主機，例如172.18.96.45，信息也正常，如圖7所示。

圖7

圖8 第1個vSAN群集2 vSAN監控

圖9 第2個vSAN群集

嘗試將第2個vSAN群集移除后，第1個vSAN群集vSAN存儲顯示為0（如圖10所示），禁用HA再啟用后恢復正常。

圖10 vSAN存儲為0

圖11 重新配置HA后正常

然后再次在數據中心中新建vSAN群集，添加2節點主機之后故障再次出現。

2 創建多個數據中心

因為前面的實驗是在同一個數據中心中創建多個群集。接下來創建了2個數據中心，每個數據中心各放一個vSAN群集。在添加vSAN群集時，仍然是使用相同的實驗主機。但本次實驗發現，在同一個vCenter中創建多個數據中心、每個數據中心有一個vSAN群集時，每個數據中心中vSAN存儲顯示正常。如圖12所示，圖中一共有3個數據中心，每個數據中心中有一個vSAN群集，在vCenter一級可以顯示出3個vSAN存儲。

圖12 多個數據中心多個群集顯示正常

既然多個數據中心、多個群集，vSAN存儲顯示正常，那么在同一個數據中心多個群集應該也可以。因為以前做過類似的實驗。以前vSphere 6.5、vSphere 6.7的時候都做過，只是這次vSphere 6.7.0 U3出錯，以為是新版本的bug。

后來我想，這些計算機最初都是在一個vSAN群集中，最初這是一個由12臺主機組成的vSAN群集，只是最后從群集中移除了8臺主機，將vSAN群集收縮到4臺。從群集中移除的這8臺ESXi主機也沒有重新安裝系統，會不會是這個原因呢？

然后我只保留172.18.96.41～172.18.96.44的vSAN群集，其他主機全部重新安裝。在重新安裝后，在一個數據中心中創建2個群集，每個群集添加不同的ESXi主機并配置vSAN，這次實驗之后發現，實驗成功，如圖13所示。

圖13 實驗成功