中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

發布時間:2021-07-06 11:44:19 來源:億速云 閱讀:532 作者:chen 欄目:大數據

本篇內容介紹了“怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

參考文檔:

  1. Github project:https://github.com/heketi/heketi

  2. MANAGING VOLUMES USING HEKETI:https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.3/html/administration_guide/ch05s02

  3. StorageClass:https://kubernetes.io/docs/concepts/storage/storage-classes/

  4. StorageClass(中文):https://k8smeetup.github.io/docs/concepts/storage/storage-classes/

  5. Dynamic Volume Provisioning:https://kubernetes.io/docs/concepts/storage/dynamic-provisioning/

  6. nfs- provisioner:https://github.com/kubernetes-incubator/external-storage/tree/master/nfs

 一.Heketi簡介 

1. 簡介

Heketi是一個提供RESTful API管理GlusterFS卷的框架,便于管理員對GlusterFS進行操作:

  1. 可以用于管理GlusterFS卷的生命周期;

  2. 能夠在OpenStack,Kubernetes,Openshift等云平臺上實現動態存儲資源供應(動態在GlusterFS集群內選擇bricks構建volume);

  3. 支持GlusterFS多集群管理。

2. 框架

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

  1. Heketi支持GlusterFS多集群管理;

  2. 在集群中通過zone區分故障域。

 二.環境 

1. 環境

Kubernetes與GlusterFS集群已提前部署完成,請參考:

  1. Kubernetes:https://www.cnblogs.com/netonline/tag/kubernetes/

  2. GlusterFS:https://www.cnblogs.com/netonline/p/9102004.html

    注意:GlusterFS只需要安裝并啟動即可,不必組建受信存儲池(trusted storage pools)

Hostname

IP

Remark

kubenode1

172.30.200.21

 

kubenode2

172.30.200.22

 

kubenode3

172.30.200.23

 

heketi

172.30.200.80

selinux disabled

glusterfs01

172.30.200.81

 

glusterfs02

172.30.200.82

 

glusterfs03

172.30.200.83

 

2. 設置iptables

# 設置iptables,heketi默認以tcp8080端口提供RESTful API服務;
[root@heketi ~]# vim /etc/sysconfig/iptables
-A INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT

[root@heketi ~]# service iptables restart

三.部署heketi

1. 安裝heketi

# 添加gluster yum源,默認yum源中無相關package;
# heketi:heketi服務;
# heketi-client:heketi客戶端/命令行工具
[root@heketi ~]# yum install -y centos-release-gluster
[root@heketi ~]# yum install -y heketi heketi-client

2. 配置heketi.json

# 注意紅色字體是修改部分[root@heketi ~]# vim /etc/heketi/heketi.json 
{
  # 默認端口tcp8080
  "_port_comment": "Heketi Server Port Number",
  "port": "8080",

  # 默認值false,不需要認證
  "_use_auth": "Enable JWT authorization. Please enable for deployment",
  "use_auth": true,

  "_jwt": "Private keys for access",
  "jwt": {
    "_admin": "Admin has access to all APIs",
    "admin": {
      "key": "admin@123"
    },
    "_user": "User only has access to /volumes endpoint",
    "user": {
      "key": "user@123"
    }
  },

  "_glusterfs_comment": "GlusterFS Configuration",
  "glusterfs": {
    "_executor_comment": [
      "Execute plugin. Possible choices: mock, ssh",
      "mock: This setting is used for testing and development.",
      ">ssh",

    "_sshexec_comment": "SSH username and private key file information",
    "sshexec": {
      "keyfile": "/etc/heketi/heketi_key",
      "user": "root",
      "port": "22",
      "fstab": "/etc/fstab"
    },

    "_kubeexec_comment": "Kubernetes configuration",
    "kubeexec": {
      "host" :"https://kubernetes.host:8443",
      "cert" : "/path/to/crt.file",
      "insecure": false,
      "user": "kubernetes username",
      "password": "password for kubernetes user",
      "namespace": "OpenShift project or Kubernetes namespace",
      "fstab": "Optional: Specify fstab file on node.  Default is /etc/fstab"
    },

    "_db_comment": "Database file name",
    "db": "/var/lib/heketi/heketi.db",

    "_loglevel_comment": [
      "Set log level. Choices are:",
      "  none, critical, error, warning, info, debug",
      "Default is warning"
],
# 默認設置為debug,不設置時的默認值即是warning;
# 日志信息輸出在/var/log/message
    "loglevel" : "warning"
  }
}

3. 設置heketi免密訪問GlusterFS

# 選擇ssh執行器,heketi服務器需要免密登陸GlusterFS集群的各節點;
# -t:秘鑰類型;
# -q:安靜模式;
# -f:指定生成秘鑰的目錄與名字,注意與heketi.json的ssh執行器中"keyfile"值一致;
# -N:秘鑰密碼,””即為空
[root@heketi ~]# ssh-keygen -t rsa -q -f /etc/heketi/heketi_key -N ""

# heketi服務由heketi用戶啟動,heketi用戶需要有新生成key的讀賦權,否則服務無法啟動
[root@heketi ~]# chown heketi:heketi /etc/heketi/heketi_key

# 分發公鑰;
# -i:指定公鑰
[root@heketi ~]# ssh-copy-id -i /etc/heketi/heketi_key.pub root@172.30.200.81
[root@heketi ~]# ssh-copy-id -i /etc/heketi/heketi_key.pub root@172.30.200.82
[root@heketi ~]# ssh-copy-id -i /etc/heketi/heketi_key.pub root@172.30.200.83

4. 啟動heketi

# 通過yum安裝heketi,默認的systemd文件有1處錯誤;
# /usr/lib/systemd/system/heketi.service文件的”-config=/etc/heketi/heketi.json”應該修改為”--config=/etc/heketi/heketi.json”;
# 否則啟動時報”Error: unknown shorthand flag: 'c' in -config=/etc/heketi/heketi.json“錯,導致服務無法啟動
[root@heketi ~]# systemctl enable heketi
[root@heketi ~]# systemctl restart heketi
[root@heketi ~]# systemctl status heketi
# 驗證
[root@heketi ~]# curl http://localhost:8080/hello

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

四.設置GlusterFS集群 

1. 創建topology.json文件

# 通過topology.json文件定義組建GlusterFS集群;
# topology指定了層級關系:clusters-->nodes-->node/devices-->hostnames/zone;
# node/hostnames字段的manage填寫主機ip,指管理通道,在heketi服務器不能通過hostname訪問GlusterFS節點時間不能填寫hostname;
# node/hostnames字段的storage填寫主機ip,指存儲數據通道,與manage可以不一樣;
# node/zone字段指定了node所處的故障域,heketi通過跨故障域創建副本,提高數據高可用性質,如可以通過rack的不同區分zone值,創建跨機架的故障域;
# devices字段指定GlusterFS各節點的盤符(可以是多塊盤),必須是未創建文件系統的裸設備

[root@heketi ~]# vim /etc/heketi/topology.json
{
    "clusters": [
        {
            "nodes": [
                {
                    "node": {
                        "hostnames": {
                            "manage": [
                                "172.30.200.81"
                            ],
                            "storage": [
                                "172.30.200.81"
                            ]
                        },
                        "zone": 1
                    },
                    "devices": [
                        "/dev/sdb"
                    ]
                },
                {
                    "node": {
                        "hostnames": {
                            "manage": [
                                "172.30.200.82"
                            ],
                            "storage": [
                                "172.30.200.82"
                            ]
                        },
                        "zone": 2
                    },
                    "devices": [
                        "/dev/sdb"
                    ]
                },
                {
                    "node": {
                        "hostnames": {
                            "manage": [
                                "172.30.200.83"
                            ],
                            "storage": [
                                "172.30.200.83"
                            ]
                        },
                        "zone": 3
                    },
                    "devices": [
                        "/dev/sdb"
                    ]
                }
            ]
        }
    ]
}

2. 通過topology.json組建GlusterFS集群

# GlusterFS集群各節點的glusterd服務已正常啟動,但不必組建受信存儲池;
# heketi-cli命令行也可手動逐層添加cluster,node,device,volume等;
# “--server http://localhost:8080”:localhost執行heketi-cli時,可不指定;
# ”--user admin --secret admin@123 “:heketi.json中設置了認證,執行heketi-cli時需要帶上認證信息,否則報”Error: Invalid JWT token: Unknown user”錯
[root@heketi ~]# heketi-cli --server http://localhost:8080 --user admin --secret admin@123 topology load --json=/etc/heketi/topology.json

# 查看heketi topology信息,此時volume與brick等未創建;
# 通過”heketi-cli cluster info“可以查看集群相關信息;
# 通過”heketi-cli node info“可以查看節點相關信息;
# 通過”heketi-cli device info“可以查看device相關信息
[root@heketi ~]# heketi-cli --user admin --secret admin@123 topology info

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

五.K8S集群動態掛載GlusterFS存儲 

1. 基于StorageClass的動態存儲流程

kubernetes共享存儲供應模式:

  1. 靜態模式(Static):集群管理員手工創建PV,在定義PV時需設置后端存儲的特性;

  2. 動態模式(Dynamic):集群管理員不需要手工創建PV,而是通過StorageClass的設置對后端存儲進行描述,標記為某種"類型(Class)";此時要求PVC對存儲的類型進行說明,系統將自動完成PV的創建及與PVC的綁定;PVC可以聲明Class為"",說明PVC禁止使用動態模式。

 基于StorageClass的動態存儲供應整體過程如下圖所示:

  1. 集群管理員預先創建存儲類(StorageClass);

  2. 用戶創建使用存儲類的持久化存儲聲明(PVC:PersistentVolumeClaim);

  3. 存儲持久化聲明通知系統,它需要一個持久化存儲(PV: PersistentVolume);

  4. 系統讀取存儲類的信息;

  5. 系統基于存儲類的信息,在后臺自動創建PVC需要的PV;

  6. 用戶創建一個使用PVC的Pod;

  7. Pod中的應用通過PVC進行數據的持久化;

  8. 而PVC使用PV進行數據的最終持久化處理。

2. 定義StorageClass

# provisioner:表示存儲分配器,需要根據后端存儲的不同而變更;
# reclaimPolicy: 默認即”Delete”,刪除pvc后,相應的pv及后端的volume,brick(lvm)等一起刪除;設置為”Retain”時則保留數據,需要手工處理
# resturl:heketi API服務提供的url;
# restauthenabled:可選參數,默認值為”false”,heketi服務開啟認證時必須設置為”true”;
# restuser:可選參數,開啟認證時設置相應用戶名;
# secretNamespace:可選參數,開啟認證時可以設置為使用持久化存儲的namespace;
# secretName:可選參數,開啟認證時,需要將heketi服務的認證密碼保存在secret資源中;
# clusterid:可選參數,指定集群id,也可以是1個clusterid列表,格式為”id1,id2”;
# volumetype:可選參數,設置卷類型及其參數,如果未分配卷類型,則有分配器決定卷類型;如”volumetype: replicate:3”表示3副本的replicate卷,”volumetype: disperse:4:2”表示disperse卷,其中‘4’是數據,’2’是冗余校驗,”volumetype: none”表示distribute卷# 

[root@kubenode1 ~]# mkdir -p heketi
[root@kubenode1 ~]# cd heketi/
[root@kubenode1 heketi]# vim gluster-heketi-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: gluster-heketi-storageclass
provisioner: kubernetes.io/glusterfs
reclaimPolicy: Delete
parameters:
  resturl: "http://172.30.200.80:8080"
  restauthenabled: "true"
  restuser: "admin"
  secretNamespace: "default"
  secretName: "heketi-secret"
  volumetype: "replicate:2"

# 生成secret資源,其中”key”值需要轉換為base64編碼格式
[root@kubenode1 heketi]# echo -n "admin@123" | base64
# 注意name/namespace與storageclass資源中定義一致;
# 密碼必須有“kubernetes.io/glusterfs” type

[root@kubenode1 heketi]# cat heketi-secret.yaml
apiVersion: v1
kind: Secret
metadata:
  name: heketi-secret
  namespace: default
data:
  # base64 encoded password. E.g.: echo -n "mypassword" | base64
  key: YWRtaW5AMTIz
type: kubernetes.io/glusterfs

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

# 創建secret資源
[root@kubenode1 heketi]# kubectl create -f heketi-secret.yaml 

# 創建storageclass資源;
# 注意:storageclass資源創建后不可變更,如修改只能刪除后重建
[root@kubenode1 heketi]# kubectl create -f gluster-heketi-storageclass.yaml

# 查看storageclass資源
[root@kubenode1 heketi]# kubectl describe storageclass gluster-heketi-storageclass

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

3. 定義PVC

1)定義PVC

# 注意“storageClassName”的對應關系
[root@kubenode1 heketi]# vim gluster-heketi-pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: gluster-heketi-pvc
spec:
  storageClassName: gluster-heketi-storageclass
  # ReadWriteOnce:簡寫RWO,讀寫權限,且只能被單個node掛載;
  # ReadOnlyMany:簡寫ROX,只讀權限,允許被多個node掛載;
  # ReadWriteMany:簡寫RWX,讀寫權限,允許被多個node掛載;
  accessModes:
    - ReadWriteOnce
  resources:
requests:
  # 注意格式,不能寫“GB”
      storage: 1Gi

# 創建pvc資源
[root@kubenode1 heketi]# kubectl create -f gluster-heketi-pvc.yaml

2)查看k8s資源

# 查看PVC,狀態為”Bound”;
# “Capacity”為2G,是因為同步創建meta數據
[root@kubenode1 heketi]# kubectl describe pvc gluster-heketi-pvc

# 查看PV詳細信息,除容量,引用storageclass信息,狀態,回收策略等外,同時給出GlusterFS的Endpoint與path;
[root@kubenode1 heketi]# kubectl get pv
[root@kubenode1 heketi]# kubectl describe pv pvc-532cb8c3-cfc6-11e8-8fde-005056bfa8ba

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

# 查看endpoints資源,可以從pv信息中獲取,固定格式:glusterfs-dynamic-PVC_NAME;
# endpoints資源中指定了掛載存儲時的具體地址
[root@kubenode1 heketi]# kubectl describe endpoints glusterfs-dynamic-gluster-heketi-pvc

3)查看heketi

# volume與brick已經創建;
# 主掛載點(通信)在glusterfs01節點,其余兩個節點備選;
# 兩副本的情況下,glusterfs03節點并未創建brick
[root@heketi ~]# heketi-cli --user admin --secret admin@123 topology info

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

4)查看GlusterFS節點

# 以glusterfs01節點為例
[root@glusterfs01 ~]# lsblk

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

[root@glusterfs01 ~]# df -Th

# 查看volume的具體信息:2副本的replicate卷;
# 另有”vgscan”,”vgdisplay”也可查看邏輯卷組信息等
[root@glusterfs01 ~]# gluster volume list
[root@glusterfs01 ~]# gluster volume info vol_308342f1ffff3aea7ec6cc72f6d13cd7

怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲

4. Pod掛載存儲資源

# 設置1個volume被pod引用,volume的類型為”persistentVolumeClaim”
[root@kubenode1 heketi]# vim gluster-heketi-pod.yaml
kind: Pod
apiVersion: v1
metadata:
  name: gluster-heketi-pod
spec:
  containers:
  - name: gluster-heketi-container
    image: busybox
    command:
    - sleep
    - "3600"
    volumeMounts:
    - name: gluster-heketi-volume
      mountPath: "/pv-data"
      readOnly: false
  volumes:
  - name: gluster-heketi-volume
    persistentVolumeClaim:
      claimName: gluster-heketi-pvc

# 創建pod
[root@kubenode1 heketi]# kubectl create -f gluster-heketi-pod.yaml

5. 驗證

# 在容器的掛載目錄中創建文件
[root@kubenode1 heketi]# kubectl exec -it gluster-heketi-pod /bin/sh
/ # cd /pv-data
/pv-data # echo "This is a file!"># 在GlusterFS節點對應掛載目錄查看創建的文件;
# 掛載目錄通過”df -Th”或”lsblk”獲取
[root@glusterfs01 ~]# df -Th
[root@glusterfs01 ~]# cd /var/lib/heketi/mounts/vg_af339b60319a63a77b05ddbec1b21bbe/brick_d712f1543476c4198d3869c682cdaa9a/brick/
[root@glusterfs01 brick]# ls
[root@glusterfs01 brick]# cat a.txt 
[root@glusterfs01 brick]# cat b.txt  6. 驗證StorageClass的ReclaimPolicy# 刪除Pod應用后,再刪除pvc
[root@kubenode1 heketi]# kubectl delete -f gluster-heketi-pod.yaml 
[root@kubenode1 heketi]# kubectl delete -f gluster-heketi-pvc.yaml

# k8s資源
[root@kubenode1 heketi]# kubectl get pvc
[root@kubenode1 heketi]# kubectl get pv
[root@kubenode1 heketi]# kubectl get endpoints # heketi
[root@heketi ~]# heketi-cli --user admin --secret admin@123 topology info # GlusterFS節點
[root@glusterfs01 ~]# lsblk
[root@glusterfs01 ~]# df -Th
[root@glusterfs01 ~]# gluster volume list

“怎么通過Heketi管理GlusterFS為K8S集群提供持久化存儲”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

化州市| 宁河县| 永新县| 孙吴县| 佳木斯市| 普安县| 金堂县| 南乐县| 仪征市| 张家口市| 香格里拉县| 十堰市| 尤溪县| 永宁县| 阳谷县| 综艺| 巴南区| 逊克县| 都匀市| 娄烦县| 林州市| 桑植县| 东乡| 宁城县| 大庆市| 襄樊市| 青岛市| 丹阳市| 新巴尔虎左旗| 潢川县| 钟祥市| 营口市| 卓资县| 金沙县| 光山县| 五寨县| 丁青县| 晋江市| 泸水县| 寻乌县| 织金县|