KVM和GFS搭建部署集群

簡介

KVM，是Keyboard Video Mouse的縮寫，KVM 通過直接連接鍵盤、視頻和鼠標 (KVM) 端口，能夠訪問和控制計算機。KVM 技術無需目標服務器修改軟件。這就意味著可以在BIOS環境下，隨時訪問目標計算機。KVM 提供真正的主板級別訪問，并支持多平臺服務器和串行設備。KVM 技術已經從最初的基礎SOHO辦公型，發展成為企業 IT 基礎機房設施管理系統。可以從kvm 客戶端管理軟件輕松的直接訪問位于多個遠程位置的服務器和設備。KVM over IP 解決方案具備完善的多地點故障轉移功能、符合新服務器管理標準 (IPMI) 的直接界面，以及將本地存儲媒體映射至遠程位置的功能。

GFS是一個可擴展的分布式文件系統，用于大型的、分布式的、對大量數據進行訪問的應用。它運行于廉價的普通硬件上，但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務。

實驗拓撲圖：

實驗需求

為了搭建KVM虛擬平臺，我們需要創建一個條帶復制卷，為虛擬主機提供搭建環境和分布式存儲功能，

GFS 群集的搭建

在GFS上我們需要為每個node添加一塊硬盤，將他們作為條帶復制卷的加載空間。

環境搭建

1、為4臺node節點，每臺添加一塊20G的移動硬盤，并且在客戶端上開啟虛擬化引擎

2、修改node節點的名稱

分別修改為node1、node2、node3、node4

[root@localhost ~]#hostnamectl set-hostname node1
[root@localhost ~]# su

3、將四臺服務器上的磁盤格式化，并掛載

在這里我們使用腳本執行掛載

#進入opt目錄
[root@node1 ~]# cd /opt
#磁盤格式化、掛載腳本
[root@node1 opt]# vim a.sh
#! /bin/bash
echo "the disks exist list:"
fdisk -l |grep '磁盤 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
    case $VAR in
    sda)
        fdisk -l /dev/sda
        break ;;
    sd[b-z])
        #create partitions
        echo "n
                p

                w"  | fdisk /dev/$VAR

        #make filesystem
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
    #mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done
#給于腳本執行權限
[root@node1 opt]# chmod +x a.sh

將腳本通過scp推送到其他三臺服務器上

scp a.sh root@192.168.45.134:/opt
scp a.sh root@192.168.45.130:/opt
scp a.sh root@192.168.45.136:/opt

這個只是樣本

[root@node1 opt]# ./a.sh
the disks exist list:
==================================================
1) sdb
2) quit
chose which disk you want to create:1      //選擇要格式化的盤
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x37029e96.

Command (m for help): Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): Partition number (1-4, default 1): First sector (2048-41943039, default 2048): Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-41943039, default 41943039): Using default value 41943039
Partition 1 of type Linux and of size 20 GiB is set

Command (m for help): The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

4、設置hosts文件

在第一臺node1上修改

#在文件末尾添加
vim /etc/hosts
192.168.45.133 node1
192.168.45.130 node2
192.168.45.134 node3
192.168.45.136 node4

通過scp將hosts文件推送給其他服務器和客戶端

#將/etc/hosts文件推送給其他主機
[root@node1 opt]# scp /etc/hosts root@192.168.45.130:/etc/hosts
root@192.168.45.130's password: 
hosts                                      100%  242    23.6KB/s   00:00    
[root@node1 opt]# scp /etc/hosts root@192.168.45.134:/etc/hosts
root@192.168.45.134's password: 
hosts                                      100%  242   146.0KB/s   00:00    
[root@node1 opt]# scp /etc/hosts root@192.168.45.136:/etc/hosts
root@192.168.45.136's password: 
hosts              

在其他服務器上查看推送情況

關閉所有服務器和客戶端的防火墻

[root@node1 ~]# systemctl stop firewalld.service 
[root@node1 ~]# setenforce 0

在客戶端和node服務器上搭建yum倉庫

#進入yum文件路徑
[root@node1 ~]# cd /etc/yum.repos.d/
#創建一個空文件夾
[root@node1 yum.repos.d]# mkdir abc
#將CentOS-文件全部移到到abc下
[root@node1 yum.repos.d]# mv CentOS-* abc
#創建私有yum源
[root@node1 yum.repos.d]# vim GLFS.repo
[demo]
name=demo
baseurl=http://123.56.134.27/demo
gpgcheck=0
enable=1

[gfsrepo]
name=gfsrepo
baseurl=http://123.56.134.27/gfsrepo
gpgcheck=0
enable=1

#重新加載yum源
[root@node1 yum.repos.d]# yum list

安裝必要軟件包

[root@node1 yum.repos.d]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

在四臺服務器上啟動glusterd，并設置為開機自啟動

[root@node1 yum.repos.d]# systemctl start glusterd.service 
[root@node1 yum.repos.d]# systemctl enable glusterd.service

添加節點信息

[root@node1 yum.repos.d]# gluster peer probe node2
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node3
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node4
peer probe: success. 

在其他服務器上查看節點信息

[root@node1 yum.repos.d]# gluster peer status

創建分布式復制卷

#創建分布式復制卷
[root@node2 yum.repos.d]# gluster volume create dis-rep replica 2 node1:/data/sdb1 node2:/data/sdb1 node3:/data/sdb1 node4:/data/sdb1 force
volume create: dis-rep: success: please start the volume to access data
#開啟復制卷
[root@node2 yum.repos.d]# gluster volume start dis-rep 
volume start: dis-rep: success

KVM虛擬主機操作

1、將我們需要安裝的系統鏡像包掛載到虛擬機上

#掛載軟件包
mount.cifs //192.168.100.3/lzp /mnt
#先將安裝鏡像包復制到/opt/目錄下
cp -r /mnt/CentOS-7-x86_64-DVD-1708.iso /opt/ &

2、配置自己的源

#進入yum文件路徑
[root@node1 ~]# cd /etc/yum.repos.d/
#刪除剛才在客戶端上創建的私有源
[root@node1 yum.repos.d]# rm -rf GLFS.repo
#將CentOS-文件全部移到到yum.repos.d下
[root@node1 abc]# mv CentOS-* ../
# 重新加載公有源
root@node1 yum.repos.d]# 

3、配置KVM必須環境包

#安裝桌面環境
yum groupinstall "GNOME Desktop" -y

#KVM模塊
yum install qemu-kvm -y

# 調試工具
yum install qemu-kvm-tools -y

#構建虛擬主機的命令工具
yum install virt-install -y

#qemu組件，創建磁盤，啟動虛擬機
yum install qemu-img -y

#網絡支持工具
yum install -y bridge-utils

#虛擬機管理工具
 yum install libvirt -y

#圖形化管理虛擬機
yum install virt-manager -y

4、判斷cpu是否支持虛擬化。并查看虛擬機模塊

egrep '(vmx|svm)' /proc/cpuinfo

#查看，模塊
lsmod | grep kvm

5、開啟服務，并設置開機自啟動

#開啟服務
systemctl start libvirtd
#開機自啟動
systemctl enable libvirtd

移動軟件包，將掛載的軟件包移動到/data/目錄下

#創建掛載點
 mkdir /data/
 #將剛才創建好的條帶復制卷掛礙到data目錄下
 mount.glusterfs node3:dis-rep /data/
#創建兩個文件
mkdir vdisk viso
#復制并調到后臺運行
cp -r /mnt/CentOS-7-x86_64-DVD-1708.iso /data/viso &

配置虛擬機的橋接網卡

#進入網卡文件
cd /etc/sysconfig/network-scripts/
#復制創建br0網卡
cp -p ifcfg-ens33 ifcfg-br0
#進入ens33網卡，設置橋接命令
vim ifcfg-ens33
#橋接命令
BRIDGE=br0

#配置橋接網卡，將橋接網卡設置為靜態的地址
vim ifcfg-br0
TYPE=bridge
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=br0
DEVICE=br0
ONBOOT=yes
IPADDR=192.168.45.140
NETMASK=255.255.255.0
GATEWAY=192.168.45.2

#重啟網卡
service network restart 

查看網卡信息

進入圖像化管理界面

virt-manager

選擇存儲，單擊選擇，進入存儲控制界面

選擇創建新的存儲池，然后輸入名稱

然后選擇前進，然后在里邊跳出的頁面，單擊瀏覽。進入下列界面
點擊，該圖標

進入選擇data目錄下的vdisk文件夾，然后選擇點擊打開

退出界面后點擊完成，就完成新的存儲池的創建

在dis上選擇添加新加卷，點擊進入后輸入名稱，并且在下邊的存儲卷配額上輸入要分配的區間大小

跟上邊一樣的步驟，創建一個iso存儲池

在這里選擇/data/z中的viso/中的/鏡像，然后點擊打開

然后點擊完成，就完成了地址池的添加，查看創建好的存儲池，創建好之后，點擊文件中的退出。

點擊文件，選擇生成新的虛擬主機

在上述選擇前進，之后，在選擇要安裝的系統鏡像的時候，選擇iso中的鏡像

鏡像選擇完成，點擊前進

分派內存的大小，一般根據自己的實際內存的大小分派

選擇創建自定義存儲，選擇自己剛才的vdisk中創建的Centos7文件


點擊選擇，在安裝前自定義配置，然后點擊完成

在引導選項中，選擇主機引導時啟動虛擬機

點擊開始安裝，后邊就跟我們安裝CentOS的步驟一樣了

然就就開始了自動安裝，可以在虛擬機管理器上查看到虛擬的使用情況