nutanix超融合部署案例

1.1. 網絡拓撲

項目的網絡拓撲如下圖所示：

說明：

1.本圖重點關注于nutanix設備的接線和網拓撲，其他的網絡和設備忽略或大概示意

2.出口網絡是在29樓機房，設備是位于28樓機房，之間使用光纖直連，跨樓層使用光纖配線架

3.防火墻上需要新配置接口port5和port6，兩個接口的配置完全一樣，在防火墻上配置鏈路聚合模式接口綁定一起

4.交換機為華為S5720-28X，兩臺交換機使用業務口進行堆疊配置，堆疊后合并為一臺整體交換機

5.兩臺交換機的萬兆光口上行級聯到防火墻，接口配置鏈路聚合模式

6.交換機下行連接nutanix設備的四個節點的網卡，使用千兆電口，千兆網線

7.防火墻，交換機，nutanix之間的網絡連接都有冗余，實現了完全的熱備狀態，任何一個設備的單點故障都能夠及時切換，保證網絡和業務不會中斷。

1.2. 網絡冗余及可靠性

為了滿足網絡的冗余和可靠性的要求，網絡進行了雙機熱備的雙鏈路設計，采用的方式為鏈路聚合和交換機堆疊，保證在網絡設備單點或者單機故障后的網絡可靠性，保證業務不中斷。詳細的說明見下圖所示：

1.3. 接口對應關系

各個設備的接口對應關系如下表所示：

1.4. nutanix超融合設備安裝部署

1.4.1. 設備介紹

本次項目采購的是Nutanix1465，2U設備，4個節點，每個節點1塊480G的SSD硬盤，2塊6T的HDD硬盤，設備正面圖如下：

局部按鈕和指示燈，以A節點作為例子，具體見下圖：

背面有兩個前兆RJ45以太網口，兩個萬兆SFP端口，一個IPMI帶外管理口，雙電源設計，具體背面如圖：

設備背面節點各網口MAC 地址以及序列號，具體細節見下圖：

設備背面節點MAC地址

主機后端網絡端口布局示意圖

1.4.2. 安裝部署

? 環境準備

1) 部署之前在維護電腦上需要安裝桌面端的虛擬化軟件，可以選擇VMware Workstation/Fusion、VirtualBox等；

2) 將Foundation 3.0的Foundation_VM-3.0.ovf.tar解壓縮，然后通過桌面端的虛擬化軟件導入，開啟VM；

3) 開啟虛擬機后可以再桌面看見兩個文件，一個是set_foundation_ip_address，另外一個是Nutanix Foundation； 

4) 點擊set_foundation_ip_address，設置Foundation VM的IP、子網掩碼、網關及DNS等信息，然后選擇保存； 

5) 點擊Nutanix Foundation，啟動Nutanix安裝配置過程，進入到全局配置界面，需要根據事先規劃好的網絡配置填寫，包括IPMI、Hypervisor和CVM信息；填寫完成點擊下一步；

備注：

所有IP設置到同一網段，包括Hypervisor、CVM和IPMI，因為初始化時通過IPMI的MAC地址進行二層訪問，另外后期建議不修改CVM和Hypervisor 的地址，所以建議將IPMI的地址設置為業務網段，初始化完成后，修改IPMI 地址即可。

注意IPMI賬戶：ADMIN（大寫）

6) 進入到Block/Node配置界面，首先Foundation會自動檢測Block/Node狀況，如果檢測不到的情況下就需要手工輸入信息；如下圖點擊增加節點Add Node；

7) 根據實際硬件情況，目前我們只有1個Block，每個Block節點數是4，然后點擊創建。

8) 然后需要輸入每個節點的具體信息，包括IPMI的MAC地址(在物理節點IPMI端口的下面)、IPMI的IP地址、Hypervisor IP地址和CVM IP地址；如果同時安裝4個節點，要勾選上前面的Position選項；然后點擊下一步；

9) 選擇所要安裝的Hypervisor，這里選擇KVM，然后選擇NOS的Package和Hypervisor ISO Image，點擊下一步；

注釋：NOS的安裝包需要提前將安裝包nutanix_installer_package-danube-<version>-<update>.tar上傳到Foundation的/home/nutanix/foundation/nos下面。 

10) 點擊創建一個Cluster，輸入Cluster Name、Cluster外部IP地址、CVM DNS服務器、CVM NTP服務器、Hypervisor NTP服務器、最大冗余數；

11) 為Cluster選擇Block和Node，在這里全選；

12) 在核對信息完成后，點擊Run Installation，然后等待安裝完成。

? 網絡配置

安裝完成后需要配置VLAN，分別在Hypervisor和CVM上進行配置；

1) 首先通過命令行工具SSH登錄到Hypervisor的主機上，

例如ssh root@10.120.189.8給Hypervisor設置VLAN

ovs-vsctl set port br0 tag=205

然后執行命令查看現有虛擬網絡端口

ovs-vsctl list port br0

2) 在Hypervisor下登錄到CVM

ssh nutanix@192.168.5.254

然后執行命令修改VLAN設置

change_cvm_vlan 205

注:以上IP地址為舉例說明，實際使用時請按照規劃修改。

1.4.3. 開關機步驟

? 關機

1）通知虛擬機所有者，關閉所有虛擬機；

2）ssh遠程登錄任意一臺CVM，執行關閉集群命令 cluster stop；

3）節點會依次關閉，大約需要15-20分鐘；

4）四臺CVM關閉后，按節點電源鍵關機（關機鍵無順序，長按3s關機）。

? 開機

1）依次按節點電源鍵（一般A、B、C、D開機，實際節點開機順序無關）

2）3-5分鐘后，節點依次開機；

3）SSH登陸任意一臺CVM，執行開啟集群命令：cluster start

4）群集啟動成功后，測試集群地址連通性，并觀察集群狀態：cluster status；

5）登陸Prism后，觀察告警信息，如果正常，開啟各虛擬機。

? 查看集群狀態

登陸后輸入：cluster status