搭建ProxmoxVE+Ceph集群（圖文版）

本文介紹如何創建一個ProxmoxVE集群，并使用內部集成的Ceph作為存儲。

集群包含5臺主機，其中3臺安裝ceph作為存儲節點，為剩下作為計算節點2臺提供存儲。

這里，5臺主機均位于同一個集群中。

本文使用到的軟件版本：

VMware-Workstation 15.5

pve（proxmox VE）6.0.1

ceph：ceph nautilus 最新版

ssh連接工具：xshell 6

1、環境配置

我們需要建立如下包含5臺pve主機的集群：

存儲節點：

pve-store1：cpu 4核 內存2g 硬盤20g+500g 橋接網絡 IP地址 10.8.20.241

pve-store2： cpu 4核 內存2g 硬盤20g+500g 橋接網絡 IP地址 10.8.20.242

pve-store3 ：cpu 4核 內存2g 硬盤20g+500g 橋接網絡 IP地址 10.8.20.243

計算節點：

pve-compute1 ：cpu 4核 內存4g 硬盤20g 橋接網絡 IP地址 10.8.20.244

pve-compute2 ：cpu 4核 內存4g 硬盤20g 橋接網絡 IP地址 10.8.20.245

2、存儲節點的安裝配置

先建立存儲節點，并以 pve-store1為mgr建立pve集群

（1）建立虛擬機

cpu記得開虛擬化

虛擬機屬性

（2）安裝pve

系統安裝在20g的硬盤上面

安裝摘要

（3）配置pve

使用xshell6連接剛安裝好的這臺主機，執行下面的任務：

安裝vim

apt update
apt install vim -y

安裝阿里云的源

cd /etc/apt
vim sources.list.d/pve-enterprise.list

修改為
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription

cd /etc/apt/
vim sources.list

修改為：
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib

更新系統

apt update
apt upgrade -y

去除webui的訂閱提示

sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

重啟系統

init 6

按照上述方法安裝 pve-store2、pve-store3 ，再繼續進行下面的操作

（4）建立pve集群

登錄pve-store1（https://10.8.20.241:8006）的web管理平臺，建立名為pve-cluster的集群，并將另外2臺主機加進來。具體方法可以參考本博客的第一篇文章中的相關內容。

建立好的pve集群

（5）建立ceph集群

1、在 pve-store1、pve-store2、pve-store3上都執行以下命令安裝ceph

pveceph install?（不帶版本號安裝的是最新的nautilus版）

稍等片刻，提示如下則表示安裝成功

ceph安裝成功

注意：計算節點不需要安裝ceph。

2、建立ceph集群網絡，3個存儲節點上面均執行

pveceph init -network 10.8.20.0/24

3、 創建ceph集群存儲Mon監控， 3個存儲節點上面均執行

pveceph createmon

創建監視器mon

Ceph Monitor：由該英文名字可以知道它是一個監視器，負責監視Ceph集群，維護Ceph集群的健康狀態，同時維護著Ceph集群中的各種Map圖，比如OSD Map、Monitor Map、PG Map和CRUSH Map，這些Map統稱為Cluster Map，Cluster Map是RADOS的關鍵數據結構，管理集群中的所有成員、關系、屬性等信息以及數據的分發，比如當用戶需要存儲數據到Ceph集群時，OSD需要先通過Monitor獲取最新的Map圖，然后根據Map圖和object id等計算出數據最終存儲的位置。

4、 創建ceph集群存儲OSD服務， 3個存儲節點上面均執行，事先為3個存儲節點添加了一塊200G的新硬盤。

pveceph createosd /dev/sdb

創建osd

Ceph OSD：OSD的英文全稱是Object Storage Device，它的主要功能是存儲數據、復制數據、平衡數據、恢復數據等，與其它OSD間進行心跳檢查等，并將一些變化情況上報給Ceph Monitor。一般情況下一塊硬盤對應一個OSD，由OSD來對硬盤存儲進行管理，當然一個分區也可以成為一個OSD。

5、 創建集群存儲資源池，將上面3個OSD結合在一起對外提供存儲服務

只在作為mgr的pve-store1上面執行

ceph osd pool create pve-pool 128 128

其中的128(pg_num)的設置：
少于 5 個 OSD 時，可把?pg_num?設置為 128
OSD 數量在 5 到 10 個時，可把?pg_num?設置為 512
OSD 數量在 10 到 50 個時，可把?pg_num?設置為 4096

創建存儲池pve-pool

6、創建RBD塊設備存儲

RBD塊存儲是ceph提供的3種存儲類型中使用最廣泛，最穩定的存儲類型。RBD塊類似于磁盤，可以掛載到物理機或虛擬機中。這里是掛載到pve主機上，作為pve主機的存儲（共享存儲）。

登錄pve-store1的web管理頁面，依次打開：數據中心->存儲->添加->選擇RBD

打開添加RBD對話框

ID：填寫為pve-rbd RBD設備的id

資源池：pve-pool，所屬的資源池

Monitor： pve-store1 pve-store2 pve-store3，監視器

節點：暫時添加pve-store1， pve-store2， pve-store3，表示集群中哪些主機可以使用該塊設備。

內容：存放的內容，選擇磁盤鏡像和容器，這樣ceph就可以存放虛擬機的鏡像和下載的LXC容器了。

添加后，可以看到集群主機下會增加一個存儲

rbd塊設備存儲

可以查看整個ceph的狀態信息

ceph集群狀態

（6）ceph的相關操作

1、賦予應用相關權限

在pve-store1上執行

ceph osd pool application enable pve-pool rgw?rbd

2、查看ceph有哪些存儲池

ceph osd lspools

3、查看ceph的空間大小及可用大小

ceph df

可以看到目前3塊500G硬盤組成的ceph存儲集群，最大可用空間為473G≈500G。

4、查看ceph的副本數

ceph osd pool get pve-pool size

默認情況下是3，即存放在ceph集群中的數據會有3個副本，所以整個ceph集群的可用空間大約是(500*3（osd數目）)/3（副本數）=500G（里面的算法很復雜，所以要少于500G，這里實際上是473G）

ceph副本數

設置新的副本數為2

ceph osd pool set pve-pool size 2

設置過后，可能需要很長時間的配置，ceph集群才會自動恢復正常。不是必要請不要進行該操作。

5、 為集群安裝ceph Dashboard

在pve-store1上執行

apt install ceph-mgr-dashboard -y
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create admin admin123 administrator（其中?admin是用戶名 admin123是密碼 administrator指定用戶是管理員）
systemctl restart ceph-mgr@pve-store1.service

訪問https://10.8.20.241:8443，使用用戶名admin密碼admin123登錄即可。

ceph Dashboard登錄界面

ceph Dashboard主界面

ceph Dashboard -Hosts（主機）

ceph Dashboard -存儲池，可以看到有3個副本

編輯存儲池，增加另外2個應用

總之，使用這個Dashboard，可以單獨管理ceph（其實一般不用）。

3、計算節點的安裝配置

建立虛擬機

虛擬機名稱：pve-compute1

cpu：4核，開虛擬化

內存：4g

硬盤：20g

網絡：橋接模式

計算節點虛擬機配置

然后安裝和配置pve，設置其主機名為： pve-compute1，ip地址設置為：10.8.20.244/24，然后更改為國內源，最后更新系統。

更新系統成功

將這臺主機加入到上面的集群中

點擊pve-store1的web管理平臺中數據中心→集群→上面的加入信息按鈕，拷貝加入信息

集群的加入信息

再打開pve-compute1的web管理平臺，點擊數據中心→集群→上面的加入集群按鈕，在對話框中粘貼集群加入信息，輸入 pve-store1 的root密碼加入集群

加入集群

在pve-store1的web管理平臺中可以看到新加入的主機

在pve-store1上，選擇數據中心→存儲→pve-rbd，再點擊上面的編輯按鈕

，

在節點處僅保留pve-compute1這臺主機

修改好之后，在左邊就可以在pve-compute1節點下面多出了一個存儲

說明計算節點 pve-compute1可以使用ceph存儲了。

用同樣的方法創建第二個計算節點 pve-compute2，并按照上面的方法zaipve-brd的節點那加入這臺主機

最后在 pve-compute1 或者 pve-compute2 上面創建、安裝虛擬機測試集群，記得虛擬機的磁盤要使用pve-rbd這個存儲。