MFS分布式文件系統搭建與監控詳解

MFS介紹

官網地址：http://www.moosefs.com/

MooseFS是一個具有容錯性的網絡分布式文件系統。

它把數據分散存放在多個物理服務器上，而呈現給用戶的則是一個統一的資源。通用文件系統,不需要修改上層應用就可以使用，通過附加新的計算機或者硬盤可以實現容量的動態擴展，體系架構可伸縮性極強，刪除的文件可以根據配置的時間周期進行保留（一個文件系統級別的回收站），高可靠（數據的多個拷貝被存儲在不同的計算機上），提供 web 監控接口，提高隨機讀或寫的效率，提高海量小文件的讀寫效率。但是mfs 把文件系統的結構緩存到 master 的內存中,文件越多,master 的內存消耗越大,8g 對應 2500w 的文件數,2 億文件就得 64GB 內存。支持特殊文件（塊和字符設備、管道以及套接字），符號連接和硬連接。

包括以下四種角色：

實驗環境介紹

基本環境表

拓撲圖

操作步驟

• 五臺虛擬機模擬搭建MFS文件系統

• 關閉防火墻及selinux

  systemctl stop firewalld
  setenforce 0

   

  搭建Master Server

  安裝軟件

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當的庫條目
  yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli –y

  配置文件解釋

  cd /etc/mfs/

  -rw-r--r--. 1 root root 4057 9月  27 15:18 mfsexports.cfg        //輸出目錄配置文件
  -rw-r--r--. 1 root root 4057 7月  20 19:16 mfsexports.cfg.sample
  -rw-r--r--. 1 root root 9015 9月  27 15:18 mfsmaster.cfg         //Master配置文件
  -rw-r--r--. 1 root root 9015 7月  20 19:16 mfsmaster.cfg.sample
  -rw-r--r--. 1 root root 1052 9月  27 15:18 mfstopology.cfg      //元數據日志
  -rw-r--r--. 1 root root 1052 7月  20 19:16 mfstopology.cfg.sample
  

  啟動服務

  systemctl start moosefs-master
  systemctl enable moosefs-master
  netstat -ntap | grep mfs

  tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      6217/mfsmaster     
  tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      6217/mfsmaster     
  tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      6217/mfsmaster    

   

  搭建MetalLogger Server

  安裝

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當的庫條目
  yum install moosefs-metalogger –y

  修改配置文件

  vim /etc/mfs/mfsmetalogger.cfg

  MASTER_HOST = 192.168.137.10          //第52行，去除注釋，改地址指向主服務器。

  啟動服務

  systemctl start moosefs-metalogger
  systemctl enable moosefs-metalogger
  netstat -ntap | grep mfs

  tcp        0      0 192.168.137.11:36766    192.168.137.10:9419     ESTABLISHED 73521/mfsmetalogger

  搭建Chunk Server

  這兩臺Chunk Server的搭建步驟是完全相同

  安裝

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當的庫條目
  yum install moosefs-chunkserver –y

  修改配置文件

  修改一

  vim /etc/mfs/mfschunkserver.cfg

  MASTER_HOST = 192.168.137.10     //第77行，將地址指向主服務器

  修改二

  vim /etc/mfs/mfshdd.cfg
  /gongxiang            //在末行添加共享目錄

  mkdir /gongxiang      //創建共享目錄

  chown -R mfs:mfs /gongxiang    //為共享目錄授權

  啟動服務

  systemctl start moosefs-chunkserver
  systemctl enable moosefs-chunkserver
  netstat -ntap | grep mfs

  tcp        0      0 0.0.0.0:9422            0.0.0.0:*               LISTEN      71921/mfschunkserve
  tcp        0      0 192.168.137.13:59006    192.168.137.10:9420     ESTABLISHED 71921/mfschunkserve

  Client的搭建

  安裝

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當的庫條目
  yum install moosefs-client –y

  加載fuse模塊至內核

  modprobe fuse

  掛載共享目錄

  mkdir /opt/mfs    //創建掛載點
  mfsmount /opt/mfs/ -H 192.168.137.10  //掛載，地址為master地址

  df –h

  文件系統             容量  已用  可用 已用% 掛載點
  /dev/sda6             21G  4.1G   17G   20% /
  devtmpfs             896M     0  896M    0% /dev
  tmpfs                911M     0  911M    0% /dev/shm
  tmpfs                911M   11M  900M    2% /run
  tmpfs                911M     0  911M    0% /sys/fs/cgroup
  /dev/sda2            9.8G   33M  9.8G    1% /opt
  /dev/sda3            4.9G   89M  4.8G    2% /home
  /dev/sda1           1014M  165M  850M   17% /boot
  tmpfs                183M   64K  183M    1% /run/user/1000
  tmpfs                183M     0  183M    0% /run/user/0
  192.168.137.10:9421   58G  8.1G   50G   14% /opt/mfs

   

• MFS監控

• 主服務器上開啟監控

• mfscgiserv
  lockfile created and locked
  starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

   

  訪問192.168.137.10：9425      主機地址

  填寫主服務器地址

  
  界面