rocketmq集群部署（多master多slave異步）

一、最近公司在做隊列的技術選型，經過調研，決定使用rocketmq作為整個架構的隊列層，我們之前的公司是用RabbitMQ，集群部署參考我之前的文章：RabbitMQ集群部署；rocketmq集群由NameServer和Broker兩種角色組成，NameServer是無狀態的可以橫向部署多臺達到消除單點的目的；Broker分多master、多master多slave同步、多master多slave異步這三種部署方案，一般生產環境都使用的是多master多slave異步這種方案，關于這三種方案的優缺點對比如下：
多Master模式（2m-noslave） ：
一個集群無Slave，全是Master，例如2個Master或者3個Master
優點：配置簡單，單個Master宕機或重啟維護對應用無影響，在磁盤配置為RAID10時，即使機器宕機不可恢復情況下，由于RAID10磁盤非常可靠，消息也不會丟（異步刷盤丟失少量消息，同步刷盤一條不丟）。性能最高。
缺點：單臺機器宕機期間，這臺機器上未被消費的消息在機器恢復之前不可訂閱，消息實時性會受到受到影響。
多Master多Slave模式，異步復制（2m-2s-async） ：
每個Master配置一個Slave，有多對Master-Slave，HA采用異步復制方式，主備有短暫消息延遲，毫秒級。
優點：即使磁盤損壞，消息丟失的非常少，且消息實時性不會受影響，因為Master宕機后，消費者仍然可以從Slave消費，此過程對應用透明。不需要人工干預。性能同多Master模式幾乎一樣。
缺點：Master宕機，磁盤損壞情況，會丟失少量消息。
多Master多Slave模式，同步雙寫（2m-2s-sync）
每個Master配置一個Slave，有多對Master-Slave，HA采用同步雙寫方式，主備都寫成功，向應用返回成功。
優點：數據與服務都無單點，Master宕機情況下，消息無延遲，服務可用性與數據可用性都非常高
缺點：性能比異步復制模式略低，大約低10%左右，發送單個消息的RT會略高。目前主宕機后，備機不能自動切換為主機，后續會支持自動切換功能。
二、環境
1、版本
JDK版本 ：openjdk version "1.8.0_161"
rocketmq版本：4.2.0
rocketmq-console-ng版本：1.0.0
2、角色
rocketmq-console-ng(監控管理)：
192.168.54.26:8080
NameServer：
192.168.47.183:9876
192.168.47.184:9876
broker：
192.168.47.183:10911 master broker-a
192.168.47.184:10911 slave broker-a
192.168.47.185:10911 master broker-b
192.168.47.186:10911 slave broker-b
三、部署
1、下載二進制包并解壓

mkdir /chj/app/rocketmq -p;cd /chj/app/rocketmq
wget http://mirrors.shu.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip

unzip rocketmq-all-4.2.0-bin-release.zip
2、撰寫配置文件，默認的配置不能滿足我們的需求，需要我們自己添加定制相關的參數，由于我們要部署的是多master多slave的異步方案，所以我們修改或者添加/chj/app/rocketmq/conf/2m-2s-async目錄下的配置文件即可（建議在broker的一臺節點上把所有的配置文件都撰寫好，統一分發到所有節點，保持所有節點的配置文件一致，起服務的時候不同的節點使用不同的配置文件即可，方便后期維護）
A、4個文件的差異配置

vim broker-a.properties

brokerName=broker-a
brokerId=0
brokerRole=ASYNC_MASTER

vim broker-a-s.properties

brokerName=broker-a
brokerId=1
brokerRole=SLAVE

vim broker-b.properties

brokerName=broker-b
brokerId=0
brokerRole=ASYNC_MASTER

vim broker-b-s.properties

brokerName=broker-b
brokerId=1
brokerRole=SLAVE

B、初了上面的配置每個配置文件不一樣，下面的配置都一樣

#所屬集群名字
brokerClusterName=rocketmq-cluster-test
#broker名字，注意此處不同的配置文件填寫的不一樣，
#brokerName=broker-a
#0 表示 Master，>0 表示 Slave
#brokerId=0
#nameServer地址，分號分割
namesrvAddr=192.168.47.183:9876;192.168.47.184:9876
#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點，默認凌晨 4點
deleteWhen=04
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/chj/data/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/chj/data/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/chj/data/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/chj/data/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/chj/data/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/chj/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
#brokerRole=ASYNC_MASTER

#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

3、啟動服務
NameServer啟動（兩個節點的啟動方法一樣）
cd /chj/app/rocketmq/&& nohup ./bin/mqnamesrv &
192.168.47.183上啟動Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-a.properties >/chj/log/rocketmq/broker-a.log >/dev/null 2>&1 &
192.168.47.184上啟動Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-a-s.properties >/chj/log/rocketmq/broker-a-s.log >/dev/null 2>&1 &
192.168.47.185上啟動Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-b.properties >/chj/log/rocketmq/broker-b.log >/dev/null 2>&1 &
192.168.47.186上啟動Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-b-s.properties >/chj/log/rocketmq/broker-b-s.log >/dev/null 2>&1 &
四、rocketmq-console-ng部署
rocketmq-console-ng是rocketmq的一個可視化的監控工具，項目地址：github地址，它可以用傳統的部署方式也可以使用docker的部署方式，我們選擇docker這種方式部署。

docker pull styletang/rocketmq-console-ng
docker run  -itd -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.47.183:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 -t styletang/rocketmq-console-ng

訪問192.168.54.26:8080，查看cluster狀態

PS：參考鏈接
http://blog.csdn.net/lovesomnus/article/details/51769977
http://blog.csdn.net/jayjjb/article/details/70140667