KVM+GFS——分布式文件系統【高可用】

內容要點：

一、案例概述：

二、部署準備：

三、部署實例：

四、查看存儲方式：

一、案例概述：

本架構是將之前博客中講到的 Glusterfs分布式文件系統，再結合 KVM 虛擬化，達到一個高可用的效果。

（1）原理：利用Glusterfs的分布式復制卷，對kvm虛擬機文件進行分布存儲和冗余功能。分布式復制卷主要用于需要冗余的情況下把一個文件存放在兩個或以上的節點上，當其中一個節點數據丟失或者損壞之后，kvm 仍然能夠通過卷組找到另一節點上的虛擬機文件，保證虛擬機正常運行。當節點修復之后，Glusterfs 會自動同步同一組里面有數據的節點數據。

（2）Glusterfs 體系結構特點：

• 將計算、存儲和I/O資源聚合到全局名稱空間中，每臺服務器都被視為節點，通過添加附加節點或向每個節點添加額外存儲來擴展容量。通過在更多節點之間部署存儲來提高性能。

• 支持基于文件的鏡像和復制、分條、負載平衡、故障轉移、調度、磁盤緩存、存儲配額、卷快照等。

• Glusterfs各客戶端之間無連接，本身依賴于彈性哈希算法，而不是使用集中式或分布式元數據模型。

• Glusterfs通過各種復制選項提供數據可靠性和可用性：復制卷、分布卷。

（3）原理圖：

二、部署：

1、環境部署：

2、案例需求：

采用KVM+Glusterfs模式，來保證虛擬機存儲的分布部署，以及分布冗余。避免當虛擬機文件損壞，或者丟失。從而在損壞或就丟失時有實時備份，保證業務正常運行。

3、部署思路：

安裝KVM -----> 所有節點部署Glusterfs -----> 客戶端掛載(Glusterfs)kvm使用掛載的Glusterfs目錄創建虛擬機

三、部署實例：

第一步：安裝部署 KVM 虛擬化平臺

虛擬機配置如下：添加一塊新硬盤；虛擬化引擎選項全部勾選。否則無法創建

（1）掛載鏡像文件：

[root@kvm?~]#?mkdir?/abc
[root@kvm?~]#?mount.cifs?//192.168.41.104/ISO?/abc/
[root@kvm?~]#?cp?/abc/CentOS-7-x86_64-DVD-1708.iso?/opt/??//將鏡像文件復制到本地目錄

（2）安裝 KVM 所需要的軟件：

yum?groupinstall?"GNOME?Desktop"?-y??//安裝桌面環境
yum?install?qemu-kvm??-y????????????//KVM模塊
yum?install?qemu-kvm-tools?-y????????//KVM調試工具
yum?install?virt-install?-y?????????//構建虛擬機的命令行工具
yum?install?qemu-img?-y?????????????//qemu組件，創建磁盤，啟動虛擬機
yum?install?bridge-utils?-y????????//網絡支持工具
yum?install?libvirt?-y?????????????//虛擬機管理工具
yum?install?virt-manager?-y????????//圖像化管理虛擬機

（3）查看虛擬化是否安裝成功：

cat?/proc/cpuinfo?|?grep?vmx??????//查看是否支持虛擬化
lsmod?|?grep?kvm?????????????????//檢查KVM是否安裝

（4）配置橋接網卡：

1、
vim?/etc/sysconfig/network-scripts/ifcfg-ens33
末尾加上這行：
BRIDGE=br0??//br0是橋接網卡的名稱

2、
cd?/etc/sysconfig/network-scripts/
cp?-p?ifcfg-ens33?ifcfg-br0
vim?ifcfg-br0
修改橋接網卡信息如下：
TYPE=Bridge
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=br0
DEVICE=br0
ONBOOT=yes
IPADDR=192.168.220.137
NETMASK=255.255.255.0
GATEWAY=192.168.220.1

3、重啟網卡：
systemctl?restart?network

（4）開啟虛擬化：

systemctl?start?libvirtd
systemctl?enable?libvirtd

第二步：GlusterFS 部署

四臺節點虛擬機添加一塊新的磁盤

（1）修改好各自的主機名，關閉好防火墻。

（2）修改 /etc/hosts 文件，四臺節點操作相同：

vim?/etc/hosts
添加以下內容：
192.168.220.179?node1
192.168.220.131?node2
192.168.220.140?node3
192.168.220.136?node4
192.168.220.137?kvm

（3）安裝 GlusterFS ：

cd?/opt/
mkdir?/abc
mount.cifs?//192.168.10.157/MHA?/abc???//遠程掛載到本地
cd?/etc/yum.repos.d/
mkdir?bak??
mv?Cent*?bak/???//將原來的源都移到新建的文件夾中

vim?GLFS.repo???//新建一個源
[GLFS]
name=glfs
baseurl=file:///abc/gfsrepo
gpgcheck=0
enabled=1

（4）時間同步設置：

ntpdate?ntp1.aliyun.com???//時間同步（每臺節點都需要操作）

添加存儲信任池，在node1上添加所有節點：
[root@localhost?yum.repos.d]#?gluster?peer?probe?node2
peer?probe:?success.?
[root@localhost?yum.repos.d]#?gluster?peer?probe?node3
peer?probe:?success.?
[root@localhost?yum.repos.d]#?gluster?peer?probe?node4
peer?probe:?success.?
[root@localhost?yum.repos.d]#?gluster?peer?status?//查看所有節點狀態

（5）磁盤配置：

fdisk?/dev/sdb????????????????????//配置
mkfs.xfs?/dev/sdb1????????????????//格式化
mkdir?-p?/data/sdb1???????????????//創建掛載點
mount?/dev/sdb1?/data/sdb1/???????//掛載

（6）創建分布式復制卷：

[root@node1?~]#?gluster?volume?create?models?replica?2?node1:/data/sdb1?node2:/data/sdb1?node3:/data/sdb1?node4:/data/sdb1?force
[root@node1?~]#?gluster?volume?start?models???//開啟卷
volume?start:?models:?success

第三步： 客戶端掛載glusterfs卷

（1）修改 hosts 文件：

vim?/etc/hosts
添加以下主機名和對應IP地址：
192.168.220.179?node1
192.168.220.131?node2
192.168.220.140?node3
192.168.220.136?node4
192.168.220.137?kvm

（2）GlusterFS 部署：

[root@kvm?~]#?cd?/etc/yum.repos.d/
[root@kvm?yum.repos.d]#?mkdir?bak?
[root@kvm?yum.repos.d]#?mv?Cent*?bak/
[root@kvm?yum.repos.d]#mkdir?/aaa
[root@kvm?yum.repos.d]#mount.cifs?//192.168.41.104/MHA?/aaa

[root@kvm?yum.repos.d]#?vim?GLFS.repo
添加以下代碼：
[GLFS]
name=glfs
baseurl=file:///aaa/gfsrepo
gpgcheck=0
enabled=1

yum?install?-y?glusterfs?glusterfs-fuse????//安裝依賴包

再將原來的CentOS源轉移出來：
[root@kvm?yum.repos.d]#mv?bak/*?./

（3）掛載卷：

mkdir?/kvmdata???????//創建掛載點
mount.glusterfs?node1:models?/kvmdata/????//將分布式復制卷掛載

再創建兩個文件，一個作為 kvm虛擬化存儲磁盤、一個為虛擬化鏡像文件：

cd?/kvmdata/
mkdir?kgc_disk?kgc_iso????//kgc_disk作為磁盤存儲位置；kgc_iso作為鏡像存儲位置
cd?/opt/
mv?CentOS-7-x86_64-DVD-1708.iso?/kvmdata/kgc_iso/???//將鏡像拷貝到剛剛創建好的文件里
virt-manager???//進入虛擬化創建

（4）虛擬系統管理器：

1、創建兩個存儲池：store；iso

2、選擇路徑：就是剛剛創建的 kgc_disk；kgc_iso

3、添加存儲卷，名為 centos7：

4、創建新的虛擬機：鏡像和磁盤存儲就路徑就選擇剛剛創建的兩個

選擇主機引導時啟動虛擬機，在選擇開始安裝：

接下來就出現安裝界面：

四、查看存儲方式：

由于，我們剛剛做了 KVM + GFS ，在 node1 上可以查看到 鏡像和磁盤存儲的文件：

由于分布式復制卷的性質，所以其他三臺node節點上都是相同的卷：