使用Atles實現MySQL數據庫讀寫分離

本文主要給大家簡單講講使用Atles實現MySQL數據庫讀寫分離，相關專業術語大家可以上網查查或者找一些相關書籍補充一下，這里就不涉獵了，我們就直奔主題吧，希望使用Atles實現MySQL數據庫讀寫分離這篇文章可以給大家帶來一些實際幫助。      

Atlas官方文檔：   https://github.com/Qihoo360/Atlas/wiki 

       Atlas是由 Qihoo 360,  Web平臺部基礎架構團隊開發維護的一個基于MySQL協議的數據中間層項目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基礎上，修改了大量bug，添加了很多功能特性。目前該項目在360公司內部得到了廣泛應用，很多MySQL業務已經接入了Atlas平 臺，每天承載的讀寫請求數達幾十億條。

主要功能：
* 讀寫分離
* 從庫負載均衡
* IP過濾
* SQL語句黑白名單
* 自動分表

--------------------------------------------------------------------------------------------------

一、環境

# 本測試環境為一臺多實例云服務器：3306（主），3308（從）

# CentOS版本：
[root@m01/]# cat /etc/redhat-release 
CentOSrelease 6.7 (Final)
[root@m01/]# uname -r
2.6.32-573.el6.x86_64
[root@m01/]# /etc/init.d/iptables stop
[root@m01/]# getenforce
Disabled 

二、MySQL數據庫創建用戶并授權

# MySQL主從已經配置好之后，主從對Atlas進行授權
mysql> GRANT UPDATE,DELETE,INSERT,SELECT ON *.* TO 'atlas'@'%' IDENTIFIED BY 'atlas';

三、Atlas安裝

CentOS-5.x下載地址

 https://github.com/Qihoo360/Atlas/releases/download/2.0.2/Atlas-2.0.2.el5.x86_64.rpm
 rpm -ivh Atlas-2.0.2.el5.x86_64.rpm

CentOS-6.x下載地址

 https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el5.x86_64.rpm
 rpm -ivh Atlas-2.2.1.el5.x86_64.rpm

Atlas安裝后的文件路徑

 /usr/local/mysql-proxy/

四、Atlas配置

1. 加密MySQL用戶密碼，獲取的加密串填寫到配置文件的pwds參數中。

 /usr/local/mysql-proxy/bin/encrypt atlas
 KsWNCR6qyNk=

2. 編輯配置文件

       查看源配置文件內容

[root@db01 ~]# egrep -v "^#|^$" /usr/local/mysql-proxy/conf/test.cnf
[mysql-proxy]
admin-username = user
admin-password = pwd
proxy-backend-addresses = 127.0.0.1:3306
pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345

   本文編輯的配置文件內容如下：

[root@db01 conf]# vim test.cnf
[mysql-proxy]
admin-username = atlas
admin-password = atles
proxy-backend-addresses = 172.168.1.51:3306
proxy-read-only-backend-addresses = 172.16.1.51:3308@1
pwds = atlas:KsWNCR6qyNk=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
sql-log = ON
sql-log-slow = 1000
instance = test
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345
charset = utf8

配置文件中參數說明(帶#號的為非必需的配置項目)

  管理接口的用戶名

 admin-username = user

  管理接口的密碼

 admin-password = pwd

  Atlas后端連接的MySQL主庫的IP和端口，可設置多項，用逗號分隔

 proxy-backend-addresses = 172.16.1.51:3306

  Atlas后端連接的MySQL從庫的IP和端口，@后面的數字代表權重，用來作負載均衡，若省略則默認為1，可設置多項，用逗號分隔

 proxy-read-only-backend-addresses = 172.16.1.51:3306@1

  用戶名與其對應的加密過的MySQL密碼，密碼使用PREFIX/bin目錄下的加密程序encrypt加密，下行的user1和user2為示例，將其替換為你的MySQL的用戶名和加密密碼！

 pwds = atlas:KsWNCR6qyNk=

  設置Atlas的運行方式，設為true時為守護進程方式，設為false時為前臺方式，一般開發調試時設為false，線上運行時設為true,true后面不能有空格。

 daemon = true

  設置Atlas的運行方式，設為true時Atlas會啟動兩個進程，一個為monitor，一個為worker，monitor在worker意外退出后會自動將其重啟，設為false時只有worker，沒有monitor，一般開發調試時設為false，線上運行時設為true,true后面不能有空格。

 keepalive = true

  工作線程數，對Atlas的性能有很大影響，可根據情況適當設置

 event-threads = 8

  日志級別，分為message、warning、critical、error、debug五個級別

 log-level = message

  日志存放的路徑

 log-path = /usr/local/mysql-proxy/log

  SQL日志的開關，可設置為OFF、ON、REALTIME，OFF代表不記錄SQL日志，ON代表記錄SQL日志，REALTIME代表記錄SQL日志且實時寫入磁盤，默認為OFF

# sql-log = OFF

  慢日志輸出設置。當設置了該參數時，則日志只輸出執行時間超過sql-log-slow（單位：ms)的日志記錄。不設置該參數則輸出全部日志。

 # sql-log-slow = 8

  實例名稱，用于同一臺機器上多個Atlas實例間的區分

 # instance = test

  Atlas監聽的工作接口IP和端口

 proxy-address = 0.0.0.0:1234

  Atlas監聽的管理接口IP和端口

 admin-address = 0.0.0.0:2345

  分表設置，此例中person為庫名，mt為表名，id為分表字段，3為子表數量，可設置多項，以逗號分隔，若不分表則不需要設置該項

 # tables = person.mt.id.3

  默認字符集，設置該項后客戶端不再需要執行SET NAMES語句

 charset = utf8

  允許連接Atlas的客戶端的IP，可以是精確IP，也可以是IP段，以逗號分隔，若不設置該項則允許所有IP連接，否則只允許列表中的IP連接

 # client-ips = 127.0.0.1, 192.168.1

  Atlas前面掛接的LVS的物理網卡的IP(注意不是虛IP)，若有LVS且設置了client-ips則此項必須設置，否則可以不設置

 # lvs-ips = 192.168.1.1

五：啟動Atlas

  啟動

[root@db01 conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test start    
OK: MySQL-Proxy of test is started            
[root@db01 conf]# ps -ef | grep mysql-proxy
root   21447      1  0 05:45 ?       00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root   21448  21447  0 05:45 ?       00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root   21517  21324  0 06:06 pts/0   00:00:00 grep mysql-proxy

 關閉

/usr/local/mysql-proxy/bin/mysql-proxyd test stop

注意：

•  運行文件是：mysql-proxyd(不是mysql-proxy)。

•  test是conf目錄下配置文件的名字，也是配置文件里instance項的名字（無后綴），三者需要統  一。（test.cnf == instance的test == 啟動使用的test）

•  可以使用ps -ef|grep mysql -proxy查看Atlas是否已經啟動或停止。

六、測試

mysql -h20.0.0.51 -P1234 -uatlas -patlas -e "select user,host from mysql.user;"

mysql -h227.0.0.1 -P2345 -uuser -ppwd
mysql> select * from help;
mysql> SELECT * FROM backends;
+-------------+------------------+-------+------+
| backend_ndx | address          | state | type |
+-------------+------------------+-------+------+
|           1 | 172.16.1.51:3306 | up    | rw   |
|           2 | 172.16.1.51:3307 | up    | ro   |
+-------------+------------------+-------+------+

測試讀寫分離,在后端節點執行

#主庫只接收寫入請求
tcpdump -i any -s 0 -A -n -p port 3306 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE'
#從庫只接受讀取請求
tcpdump -i any -s 0 -A -n -p port 3308 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE

七、Atlas參數備注

instance參數：
  同一臺機器上的多個Atlas實例，使用不同的端口，對應不同數據庫，使用各自的配置文件
默認的黑白名單：
  不帶where的delete會屏蔽，"sleep"會屏蔽
備注：
1.03版本已經支持set autocommit語句，另外對于python來說需要在連接上后執行一句conn.autocommit(True)
pwds參數
配置MySQL用戶名和對應的加密過的MySQL密碼，密碼使用/usr/local/mysql-proxy/bin/encrypt程序進行加
密，用戶名和密碼用冒號分開，可以使用多個用戶，用逗號空格分隔。
client-ips參數
在引入中間層后，因為連接DB的是Atlas，所以DB改為對部署Atlas的機器的IP作訪問授權，而client-ips參
數用來控制連接Atlas的客戶端的IP
lvs-ips參數
比如LVS后面掛接兩臺Atlas，分別叫A和B，LVS去循環檢測A和B的存活，當Atlas檢測到是LVS的IP來請求時
，根據在線或不在線狀態，向LVS的檢測腳本返回不同的值，這里是設置Atlas前面的LVS的物理網卡的IP。

八、Atlas管理接口使用

  語法：mysql -u管理用戶 -p管理密碼 -h227.0.0.1 -P管理端口

  mysql -uuser -ppwd -h227.0.0.1 -P2345

  查看管理語句參數：

  mysql> select * from help;

  查看DB狀態：

mysql> select * from backends;
+-------------+-------------------+-------+------+------+-------------------+
| backend_ndx | address           | state | type | uuid | connected_clients |
+-------------+-------------------+-------+------+------+-------------------+
| 1           | 172.16.1.20:3306  | up    | rw   | NULL | 0                 |
| 2           | 172.16.1.30:3306  | up    | ro   | NULL | 0                 |
+-------------+-------------------+-------+------+------+-------------------+

備注：
connected_clients這個參數有bug，不能正常顯示。

九、Atlas常見問題

1、Atlas多實例啟動問題：
  如果配置文件中instance = instance，啟動參數如下：

/usr/local/mysql-proxy/bin/mysql-proxyd instance start

  如果配置文件中instance = test，啟動參數如下：

/usr/local/mysql-proxy/bin/mysql-proxyd test start

  可以使用mysql-proxy命令啟動，

/usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf

備注：
  使用腳本啟動時，注意區分bin目錄下面的mysql-proxy 和 mysql-proxyd 。

2、使用Atlas時出現"too many connections"
     原因是DB的max_connections設置過小

3、在管理接口發現后端DB的狀態為down
    a、后端DB是否已對Atlas所在機器的IP授權
    b、推薦DB的my.cnf里的max_connect_errors設置為100000，默認值是10，值太小會影響Atlas對DB的存活檢測，可以修            改my.cnf文件的max_connect_errors參數，或者用下面指令直接修改；

 mysql> set global max_connect_errors=100000;

4、主從同步延遲，不能馬上讀數據，可以在SQL語句前增加 /*master*/ ，就可以將讀請求強制發往主庫。

使用Atles實現MySQL數據庫讀寫分離就先給大家講到這里，對于其它相關問題大家想要了解的可以持續關注我們的行業資訊。我們的板塊內容每天都會捕捉一些行業新聞及專業知識分享給大家的。