您好,登錄后才能下訂單哦!
本文主要給大家介紹mysql高可用架構MHA如何搭建及配置,文章內容都是筆者用心摘選和編輯的,具有一定的針對性,對大家的參考意義還是比較大的,下面跟筆者一起了解下mysql高可用架構MHA如何搭建及配置吧。
mysql實現高可用架構之MHA
一、簡介
MHA(Master HA)是一款開源的 MySQL 的高可用程序,它為 MySQL 主從復制架構提供了 automating
master failover (自動化主故障轉移)功能。MHA 在監控到 master 節點故障時,會提升其中擁有最新數據的
slave 節點成為新的master 節點,在此期間,MHA 會通過于其它從節點獲取額外信息來避免一致性方面的問題。
MHA 還提供了 master 節點的在線切換功能,即按需切換 master/slave 節點。 MHA 是由日本人
yoshinorim(原就職于DeNA現就職于FaceBook)開發的比較成熟的 MySQL 高可用方案。MHA 能夠在30秒內實現
故障切換,并能在故障切換中,最大可能的保證數據一致性。目前淘寶也正在開發相似產品 TMHA, 目前已支持一
主一從。
二、MHA 服務
2.1 服務角色
MHA 服務有兩種角色, MHA Manager(管理節點)和 MHA Node(數據節點): MHA Manager: 通常單獨部署在一臺獨立機器上管理多個 master/slave 集群(組),每個 master/slave 集群稱作一個 application,用來管理統籌整個集群。 MHA node: 運行在每臺 MySQL云服務器上(master/slave/manager),它通過監控具備解析和清理 logs 功能的腳本來加快故障轉移。 主要是接收管理節點所發出指令的代理,代理需要運行在每一個 mysql 節點上。簡單講 node 就是用來收集從節點云服務器上所生成的 bin-log 。對比打算提升為新的主節點之上的從節點的是否擁有并完成操作,如果沒有發給新主節點在本地應用后提升為主節點。
由上圖
我們可以看出,每個復制組內部和 Manager 之間都需要ssh實現無密碼互連,只有這樣,在 Master 出故障時, Manager 才能順利的連接進去,實現主從切換功能。
2.2提供的工具
MHA會提供諸多工具程序, 其常見的如下所示: Manager節點: masterha_check_ssh :MHA 依賴的
ssh 環境監測工具; masterha_check_repl :MYSQL 復制環境檢測工具; masterga_manager :MHA
服務主程序; masterha_check_status :MHA 運行狀態探測工具; masterha_master_monitor :
MYSQL master 節點可用性監測工具; masterha_master_swith:master :節點切換工具;
masterha_conf_host :添加或刪除配置的節點; masterha_stop :關閉 MHA 服務的工具。 Node節點:(這些工具通常由MHA Manager的腳本觸發,無需人為操作) save_binary_logs :保存和復制 master 的二進制日志; apply_diff_relay_logs :識別差異的中繼日志事件并應用于其他 slave;
purge_relay_logs :清除中繼日志(不會阻塞 SQL 線程); 自定義擴展:
secondary_check_script :通過多條網絡路由檢測master的可用性; master_ip_failover_script :更新
application使用的masterip; report_script :發送報告; init_conf_load_script :加載初始配置參
數;
master_ip_online_change_script ;更新master節點ip地址。
2.3工作原理
MHA工作原理總結為以下幾條: (1) 從宕機崩潰的 master 保存二進制日志事件(binlog events); (2) 識別含有最新更新的 slave ; (3) 應用差異的中繼日志(relay log) 到其他 slave ; (4) 應用從 master 保存的二進制日志事件(binlog events); (5) 提升一個 slave 為新 master ;
三、實現過程
3.1 準備實驗 Mysql 的 Replication 環境
3.1.1 相關配置
MHA 對 MYSQL 復制環境有特殊要求,例如各節點都要開啟二進制日志及中繼日志,各從節點必須顯示啟用其 read-only 屬性,并關閉 relay_log_purge 功能等,這里對配置做事先說明。 本實驗環境共有四個節點, 其角色分配如下(實驗機器均為centos 7.3):
所有節點進行初始化關閉防火墻,selinux 重啟系統
1[root@master ~]# hostnamectl --static set-hostname master
2 [root@master ~]# systemctl status firewalld.service
3 [root@master ~]# systemctl stop firewalld.service
4 [root@master ~]# systemctl disable firewalld.service
5 [root@master ~]# getenforce
6 Enforcing
7 [root@master ~]# setenforce 0
8 [root@master ~]# vim /etc/selinux/config
9 # 修改 SELINUX=disabled
10[root@master ~]# reboot
為了方便我們后期的操作,我們在各節點的/etc/hosts文件配置內容中添加如下內容:
1192.168.37.111 manager.qf.com manager
2 192.168.37.122 master.qf.com master
3 192.168.37.133 slave1.qf.com slave1
4 192.168.37.144 slave2.qf.com slave2
這樣的話,我們就可以通過 host 解析節點來打通私鑰訪問,會方便很多。
安裝 mariadb
11、添加mariadb的yum源
2[root@master ~]# vim /etc/yum.repo.d/mariadb.repo
3 [mariadb]
4 name = MariaDB
5 baseurl = https://mirrors.ustc.edu.cn/mariadb/yum/10.4/centos7-amd64 gpgkey=https://mirrors.ustc.edu.cn/mariadb/yum/RPM-GPG-KEY-MariaDB
6gpgcheck=1
7 2、安裝
8[root@master ~]# yum -y install MariaDB-server MariaDB-client
9 3、初始化mariadb
10[root@master ~]# mysql_secure_installation
3.1.2 初始主節點 master 的配置
我們需要修改 master 的數據庫配置文件來對其進行初始化配置:
1[root@master ~]# vim /etc/my.cnf
2[mysqld]
3 server-id = 1 //復制集群中的各節點的id均必須唯一
4 log-bin = master-log //開啟二進制日志
5 relay-log = relay-log //開啟中繼日志
6 skip_name_resolve //關閉名稱解析(非必須)
7[root@master ~]# systemctl restart mariadb
本步驟完成。
3.1.3 所有 slave 節點依賴的配置
我們修改兩個 slave 的數據庫配置文件,兩臺機器都做如下操作:
1[root@slave1 ~]# vim /etc/my.cnf
2[mysqld]
3 server-id = 2 //復制集群中的各節點的id均必須唯一;
4 relay-log = relay-log //開啟中繼日志
5 log-bin = master-log //開啟二進制日志
6 read_only = ON //啟用只讀屬性
7 relay_log_purge = 0 //是否自動清空不再需要中繼日志
8 skip_name_resolve //關閉名稱解析(非必須)
9 log_slave_updates = 1 //使得更新的數據寫進二進制日志中
10[root@slave1 ~]# systemctl restart mariadb
11[root@slave2 ~]# vim /etc/my.cnf
12[mysqld]
13 server-id = 3 //復制集群中的各節點的id均必須唯一;
14 relay-log = relay-log //開啟中繼日志
15 log-bin = master-log //開啟二進制日志
16 read_only = ON //啟用只讀屬性
17 relay_log_purge = 0 //是否自動清空不再需要中繼日志
18 skip_name_resolve //關閉名稱解析(非必須)
19 log_slave_updates = 1 //使得更新的數據寫進二進制日志中
20[root@slave2 ~]# systemctl restart mariadb
本步驟完成。
3.1.4 配置一主多從復制架構
master 節點上:
1# 授權同步數據賬號
2[root@master ~]# mysql -uroot -p'keer'
3MariaDB [(none)]>grant replication slave,replication client on . to 'slave'@'192.168.%.%' identified by 'keer';
4# 備份數據導出到從庫
5[root@master ~]# mysqldump -uroot -p'keer' --all-databases > date +%F
-mysql-all.sql
6[root@master ~]# scp *mysql-all.sql 192.168.20.100:/root
7 [root@master ~]# mysql -uroot -p'keer'
8 MariaDB [(none)]> show master status;
slave 節點上:
1#導入數據
2[root@slave1 ~]# mysql -uroot -p'keer' < *mysql-all.sql
3 [root@slave1 ~]# mysql -uroot -p'keer'
4 MariaDB [(none)]> change master to master_host='192.168.37.122',
5-> master_user='slave',
6-> master_password='keer',
7-> master_log_file='mysql-bin.000001',
8-> master_log_pos=415;
9 MariaDB [(none)]> start slave;
10 MariaDB [(none)]> show slave status\G;
本步驟完成。
3.2 安裝配置MHA
3.2.1 在 master 上進行授權
在所有 Mysql 節點授權擁有管理權限的用戶可在本地網絡中有其他節點上遠程訪問。 當然, 此時僅需要且只能在 master 節點運行類似如下 SQL 語句即可。
1[root@master ~]# mysql -uroot -p'keer'
2MariaDB [(none)]> grant all on . to 'mhaadmin'@'192.168.%.%' identified by 'mhapass';
本步驟完成。
3.2.2 準備 ssh 互通環境
MHA集群中的各節點彼此之間均需要基于ssh互信通信,以實現遠程控制及數據管理功能。簡單起見,可在Manager節點生成密鑰對兒,并設置其可遠程連接本地主機后, 將私鑰文件及authorized_keys文件復制給余下的所有節點即可。 下面操作在所有節點上操作:
1[root@manager ~]# ssh-keygen -t rsa
2 [root@manager ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node1
當四臺機器都進行了上述操作以后,我們可以在 manager 機器上看到如下文件:
1[root@manager ~]# cd .ssh/
2 [root@manager .ssh]# ls
3 authorized_keys id_rsa id_rsa.pub known_hosts
4 [root@manager .ssh]# cat authorized_keys
四臺機器的公鑰都已經在 authorized_keys 這個文件中了,接著,我們只需要把這個文件發送至另外三臺機器,這四臺機器就可以實現 ssh 無密碼互通了:
1[root@manager .ssh]# scp authorized_keys root@master:~/.ssh/
2 [root@manager .ssh]# scp authorized_keys root@slave1:~/.ssh/
3 [root@manager .ssh]# scp authorized_keys root@slave2:~/.ssh/
當然,我們也可以在機器上實驗一下,看看 ssh 是否還需要輸入密碼。 本步驟完成。
3.2.3 安裝 MHA 包
在本步驟中, Manager節點需要另外多安裝一個包。具體需要安裝的內容如下:
四個節點都需安裝: mha4mysql-node-0.56-0.el6.norch.rpm Manager 節點另需要安裝: mha4mysql-manager-0.56-0.el6.noarch.rpm
需要安裝的包我已經上傳至百度云盤,密碼:mkcr,大家需要的自行下載使用~ 我們使用 rz 命令分別上傳,然后使用 yum 安裝即可。
1[root@manager ~]# rz
2 [root@manager ~]# ls
3 anaconda-ks.cfg initial-setup-ks.cfg Pictures
4 Desktop mha4mysql-manager-0.56-0.el6.noarch.rpm Public
5 Documents mha4mysql-node-0.56-0.el6.noarch.rpm Templates
6 Downloads Music Videos
7[root@manager ~]# yum install -y mha4mysql-node-0.56-0.el6.noarch.rpm
8[root@manager ~]# yum install -y mha4mysql-manager-0.56-0.el6.noarch.rpm
其余機器也分別進行安裝,就不一一舉例了。 本步驟完成。
需配置mariadb源才能安裝
3.2.4 初始化 MHA ,進行配置
Manager 節點需要為每個監控的 master/slave 集群提供一個專用的配置文件,而所有的 master/slave 集群也可共享全局配置。全局配置文件默認為 /etc/masterha_default.cnf ,其為可選配置。如果僅監控一組 master/slave 集群,也可直接通過 application 的配置來提供各云服務器的默認配置信息。而每個 application 的配置文件路徑為自定義。具體操作見下一步驟。
3.2.5 定義 MHA 管理配置文件
為MHA專門創建一個管理用戶, 方便以后使用, 在mysql的主節點上, 三個節點自動同步:
1mkdir /etc/mha_master
2vim /etc/mha_master/mha.cnf
配置文件內容如下;
1 [server default] //適用于server1,2,3個server的配置
2 user=mhaadmin //mha管理用戶
3 password=mhapass //mha管理密碼
4 manager_workdir=/etc/mha_master/app1 //mha_master自己的工作路徑
5 manager_log=/etc/mha_master/manager.log // mha_master自己的日志文件
6 remote_workdir=/mydata/mha_master/app1 //每個遠程主機的工作目錄在何處
7 ssh_user=root // 基于ssh的密鑰認證
8 repl_user=slave //數據庫用戶名
9 repl_password=keer //數據庫密碼
10 ping_interval=1 //ping間隔時長
11 [server1] //節點2
12 hostname=192.168.37.122 //節點2主機地址
13 ssh_port=22 //節點2的ssh端口
14 candidate_master=1 //將來可不可以成為master候選節點/主節點
15[server2]
16hostname=192.168.37.133
17ssh_port=22
18candidate_master=1
19[server3]
20hostname=192.168.37.144
21ssh_port=22
22candidate_master=1
本步驟完成。
3.2.6 對四個節點進行檢測
1)檢測各節點間 ssh 互信通信配置是否 ok 我們在 Manager 機器上輸入下述命令來檢測:
1[root@manager ~]# masterha_check_ssh -conf=/etc/mha_master/mha.cnf
如果最后一行顯示為 [info]All SSH connection tests passed successfully. 則表示成功。
2)檢查管理的MySQL復制集群的連接配置參數是否OK
1[root@manager ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf
我們發現檢測失敗,這可能是因為從節點上沒有賬號,因為這個架構,任何一個從節點, 將有可能成為主節點, 所以也需要創建賬號。 因此,我們需要在master節點上再次執行以下操作:
1[root@manager ~]# mysql -uroot -p'keer'
2MariaDB [(none)]> grant replication slave,replication client on . to 'slave'@'192.168.%.%' identified by 'keer';
3MariaDB [(none)]> flush privileges;
執行完這段操作之后,我們再次運行檢測命令:
1[root@manager ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf
2 Thu Nov 23 09:07:08 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
3 Thu Nov 23 09:07:08 2017 - [info] Reading application default configuration from /etc/mha_master/mha.cnf..
4 Thu Nov 23 09:07:08 2017 - [info] Reading server configuration from /etc/mha_master/mha.cnf..
5 ……
6 MySQL Replication Health is OK.
可以看出,我們的檢測已經ok了。 此步驟完成。
3.3 啟動 MHA
我們在 manager 節點上執行以下命令來啟動 MHA:
1[root@manager ~]# nohup masterha_manager -conf=/etc/mha_master/mha.cnf &> /etc/mha_master/manager.log &
2[1] 7598
啟動成功以后,我們來查看一下 master 節點的狀態:
1[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
2 mha (pid:7598) is running(0:PING_OK), master:192.168.37.122
上面的信息中“mha (pid:7598) is running(0:PING_OK)”表示MHA服務運行OK,否則, 則會顯示為類似“mha is stopped(1:NOT_RUNNING).” 如果,我們想要停止 MHA ,則需要使用 stop 命令:
1[root@manager ~]# masterha_stop -conf=/etc/mha_master/mha.cnf
3.4 測試 MHA 故障轉移
3.4.1 在 master 節點關閉 mariadb 服務,模擬主節點數據崩潰
1[root@master ~]# killall5 -9 mysqld mysqld_safe
2 [root@master ~]# rm -rf /var/lib/mysql/*
3.4.2 在 manger 節點查看日志
我們來查看日志:
1[root@manager ~]# tail -200 /etc/mha_master/manager.log
2 ……
3 Thu Nov 23 09:17:19 2017 - [info] Master failover to 192.168.37.133(192.168.37.133:3306) completed successfully.
表示 manager 檢測到192.168.37.122節點故障, 而后自動執行故障轉移, 將192.168.37.133提升為主節點。注意,故障轉移完成后, manager將會自動停止, 此時使用 masterha_check_status 命令檢測將會遇到錯誤
提示, 如下所示:
1[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
2 mha is stopped(2:NOT_RUNNING).
3.5 提供新的從節點以修復復制集群
原有 master 節點故障后,需要重新準備好一個新的 MySQL 節點。基于來自于master 節點的備份恢復數據后,將其配置為新的 master 的從節點即可。注意,新加入的節點如果為新增節點,其 IP 地址要配置為原來 master 節點的 IP,否則,還需要修改 mha.cnf 中相應的 ip 地址。隨后再次啟動 manager ,并再次檢測其狀態。 我們就以
剛剛關閉的那臺主作為新添加的機器,來進行數據庫的恢復: 原本的 slave1 已經成為了新的主機器,所以,我
們對其進行完全備份,而后把備份的數據發送到我們新添加的機器上:
1[root@slave1 ~]# mkdir /backup
2[root@slave1 ~]# mysqldump --all-database > /backup/date +%F-%T
-myql-all.sql
3 [root@slave1 ~]# scp /backup/2017-11-23-09\:57\:09-mysql-all.sql root@node2:~/
然后在 原master 節點上進行數據恢復:
1# 啟動并初始化 mariadb
2[root@master ~]# systemctl start mariadb
3[root@master ~]# mysql_secure_installation
4 # 還原數據
5 [root@master ~]# mysql < 2017-11-23-09\:57\:09-mysql-all.sql
接下來就是配置主從。照例查看一下現在的主的二進制日志和位置,然后就進行如下設置:
1# 查看主云服務器信息
2[root@slave1 ~]# mysql -uroot -p'keer'
3MariaDB [(none)]> show master status;
4 # 配置主從
5 [root@master ~]# mysql -uroot -p'keer'
6 MariaDB [(none)]> show master status;
7 MariaDB [(none)]> change master to master_host='192.168.37.133', master_user='slave', master_password='keer', master_log_file='mysql-bin.000006', master_log_pos=925;
8 MariaDB [(none)]> start slave;
9 MariaDB [(none)]> show slave status\G;
10 Slave_IO_State: Waiting for master to send event
11 Master_Host: 192.168.37.133
12 Master_User: slave
13 Master_Port: 3306
14 Connect_Retry: 60
15 Master_Log_File: mysql-bin.000006
16Read_Master_Log_Pos: 925
17 Relay_Log_File: mysql-relay-bin.000002
18 Relay_Log_Pos: 529
19Relay_Master_Log_File: mysql-bin.000006
20 Slave_IO_Running: Yes
21 Slave_SQL_Running: Yes
22 ……
可以看出,我們的主從已經配置好了。 本步驟完成。
3.6 新節點提供后再次執行檢查操作
我們來再次檢測狀態:
1[root@manager ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf
如果報錯,則再次授權(詳見上文)。若沒有問題,則啟動 manager,注意,這次啟動要記錄日志:
1[root@manager ~]# masterha_manager -conf=/etc/mha_master/mha.cnf > /etc/mha_master/manager.log 2>&1 &
2[1] 10012
啟動成功以后,我們來查看一下 master 節點的狀態:
1[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
2 mha (pid:9561) is running(0:PING_OK), master:192.168.37.133
我們的服務已經成功繼續了。 本步驟結束。
3.7新節點上線, 故障轉換恢復注意事項
1)在生產環境中, 當你的主節點掛了后, 一定要在從節點上做一個備份, 拿著備份文件把主節點手動提升為從節點, 并指明從哪一個日志文件的位置開始復制 2)每一次自動完成轉換后, 每一次的(replication health ) 檢測不ok始終都是啟動不了必須手動修復主節點, 除非你改配置文件 3)手動修復主節點提升為從節點后, 再次運行檢測命令
1[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
2 mha (pid:9561) is running(0:PING_OK), master:192.168.37.133
4)再次運行起來就恢復成功了
1[root@manager ~]# masterha_manager --conf=/etc/mha_master/mha.cnf
看完以上關于mysql高可用架構MHA如何搭建及配置,很多讀者朋友肯定多少有一定的了解,如需獲取更多的行業知識信息 ,可以持續關注我們的行業資訊欄目的。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。