MongoDB 副本集原理及管理

MongoDB副本集（Replica Set）是一組MongoDB實例組成的集群，由一個主節點（primary）和多個備節點（Secondary）組成。通過Repication，將數據的更新由primary推送到其他備

節點上。每個MongoDB實例維護相同的數據集副本，通過維護冗余的數據集副本，能夠實現數據的異地備份，讀寫分離和自動故障轉移。

拓撲結構：

創建一個Replica set，包含三個成員，一個primary和兩個secondary成員，primary處理客戶端請求，secondary用于保存primary數據副本。客戶端在primary進行讀寫操作，通過

replication的異步同步機制，將數據操作同步sencondary成員，保證三個成員擁有相同的數據集。

如果primary連接中斷超過10s，其他節點會自動選舉出一個primary節點，負責響應客戶端的請求，實現數據的自動故障轉移。

技術原理說明：

mongodb instance有兩種不同的啟動方式，一種是以單實例啟動（standalone），一種是副本集（replica set）模式，如果設置replSet參數，mongodb實例將以副本集模式啟動。

選舉primary成員：

在Replica Set中有兩種成員：Primary成員和Secondary成員，一個Replica Set只能有一個Primary成員，但可以有多個Secondary成員。Primary用于處理客戶端請求，Secondary用于保存Primary的數據副本。如果Primary崩潰了，Replica Set探測到Primary不可訪問，將啟動自動故障轉移進程，從剩下的Secondary成員中，投票選舉出一個成員作為Primary，接收和處理客戶端的請求。

選舉Primary成員時，使用“大多數”和“一票否決”原則。在Replica Set中，每個成員只能要求自己被選舉為Primary節點。當一個Secondary成員無法與Primary成員連通時，該成員就會發起選舉，請求其他成員將自己選舉為Primary成員，只有得到“大多數”成員的支持，該成員才能被選舉為Primary成員；只要有一個成員否決，選舉就會取消。

不是每一個成員都有投票選舉的權利，在一個Replica Set中，最多有7個成員用于投票選舉的權利，Primary成員是由這7個成員選舉出來的。有投票權利的成員，其屬性："votes" 是1；若為0，表示該成員沒有投票權利。

操作日志：

mongodb使用操作日志（oplog）來實現復制（replication）功能。oplog包含了primary節點的每一個更新操作，通過oplog傳遞到其他secondary節點中，在其他節點重做（redo）已經提交的操作，實現數據的異步同步。每個成員維護著自己的oplog，記錄著每一個從primary節點復制過來的數據。

復制過程是先復制數據，再寫oplog中。如果因為重啟導致執行重復操作，將oplog中同一個操作執行多次，與執行一次的結果是一樣的。

oplog保存的是對每個doc的更新操作日志，如果一個命令只更新一個doc，那么Replication進程向oplog插入一條日志；如果一個命令更新多個doc，那么Replication進程向oplog插入多條日志，每一條日志只更新一個doc。

配置文件參數定義：

replSet：設置Replica Set的name，在各個配置文件中，其值必須相同

dbpath：MongoDB用于存儲數據的目錄

logpath：用于記錄mongod的日志數據

port：指定MongoDB監聽的端口，默認值是27017

創建配置文檔，調用rs.initiate()函數，按照配置文檔來初始化Replica Set：

conf=

{

    "_id" : "replname",

    "members" : [

        { "_id" : 0,  "host" : "127.0.0.1:2777"  },

        { "_id" : 1,  "host" : "127.0.0.1:3777"  },

        { "_id" : 2,  "host" : "127.0.0.1:4777"  }

    ]

}

rs.initiate(conf)

使用"_id" : "replname" 指定Replica Set的name

members數組指定 Replica Set的成員的ID 和 host（“host：port”)

1、修改Replica Set

如果以rs.initiate()方式初始化Replica Set，那么MongoDB以默認配置文檔初始化Replica Set，可以通過add()函數增加成員

2、向Replica Set中增加一個成員

rs.add("host:port")

3、從Replica Set中刪除一個成員

rs.remove("host")

4、查看Replica Set的配置

rs.conf()

5、查看Replica Set的狀態

rs.status()

{

"_id" : "replname",

"version" : 7,

"protocolVersion" : NumberLong(1),

"writeConcernMajorityJournalDefault" : true,

"members" : [

{

"_id" : 0,

"host" : "127.0.0.1:2777",

"arbiterOnly" : false,

"buildIndexes" : true,

"hidden" : false,

"priority" : 1,

"tags" : {

},

"slaveDelay" : NumberLong(0),

"votes" : 1

}

Replica Set的ID字段唯一標識一個Replica Set，每一個Replica Set都有一個自增的版本號，由Version字段標識，標識Replica Set的不同版本。version字段的初始值是1，每次修改Replica Set的配置時，version字段都會自增.

arbiterOnly：0或1，標識一個仲裁（arbiter），Arbiter的唯一作用是參與Primary的選舉，Arbiter不保存數據，不會為client提供服務，它存在的意義就是為了選舉Primary.

hidden：0或1，表示該成員是不是隱藏成員，Hidden成員的主要作用是備份數據，可以使用性能較差的服務器作為Hidden成員。Hidden成員不會接收Client的請求，也不會成為Primary。在設置Hidden成員時，必須設置members[n].priorty屬性為0.

priority：數值類型，用于設置成員成為Primary的優先級。priority越高的成員，越有機會成為Primary。如果priority=0，那么該成員永遠不會成為Primary.

votes：1或0，表示該成員的投票的數量，在每個Replica Set中，最多有7個成員，其votes屬性值是1。votes 屬性是1的成員（voting members）擁有選舉Primary的權利。一個成員要想成為一個Primary，那么必須獲得voting members的大多成員的支持.

在Replica Set中，如果voting members的數量是5，那么一個成員成為Primary的條件是：獲得超過2個voting members的支持，并且沒有任何voting members 反對。只要有任意一個voting member 反對該成員成為Primary，那么該成員就不能成為Primary。

在客戶端查看進程信息：

shard1:PRIMARY> db.serverCmdLineOpts()

命令含義：

rs.:副本命令，是replSet是縮寫，代表副本集

db.:數據庫命令，比如db.printReplicationInfo(),db.printSlaveReplicationInfo()

rs.status:查看成員的復制狀態，可以在任意節點執行

rs.config():可以得到當前副本的配置，修改配置文件，然后將修改后的配置文件傳遞給reconfig、initiate命令

rs.reconfig()(replSetReconfig):修改副本集的配置。rs.reconfig(conf,{"force":true})

rs.initiate():會初始化配置，只需要對副本集中的一個成員調用rs.initiate就可以（一般主節點），收到initiate命令的成員會自動將配置文件傳遞給副本集中的其他成員

修改副本集成員配置時的限制：

1、不能修改_id；

2、不能將當前執行rs.reconfig命令的成員的優先級設置為 0；

3、不能將仲裁者成員變為非仲裁者成員，反正亦然；

4、不能將buildIndexes由false改為 true；

強制重新配置：

在備份節點上調用rs.reconfig(conf,{"force":ture})強制重新配置副本集。注意conf必須是正確、有效的配置。而且只允許在備份節點執行強制重新配置。

查看復制源

查詢節點從哪個節點處復制。在備份節點上運行,也可以運行rs.status(),查看"syncingTo"字段信息.

db.adminCommand({"replSetGetStatus":1})['syncingTo'];

復制鏈:

MongoDB根據ping時間選擇同步源，一個成員向另一個成員發送心跳請求，就知道心跳請求所耗費的時間（rs.status()中的"pingMs"記錄了成員到達相關成員的所花費的平均時間）。MongosDB維護著不同成員間請求的平均花費時間。選擇同步源時，會選擇一個離自己比較近而且數據比自己新的成員。但是同一數據中心的成員可能會從同一數據中心的其他成員處復制，而不是從位于另一個數據中心的主節點處復制（這樣可以減少網絡流量），所以會出現復制鏈的情況，復制鏈越長會導致主節點的操作復制到所有的服務器所花費的時間越長。這對于需要從副本中讀取數據的需求這種情況是不希望看到的。

修改復制源

db.adminCommand({"replSetSyncFrom":"192.168.137.10:27011"});

禁用復制鏈（在主副本中執行）

conf = rs.conf()

conf.settings.chainingAllowed = false

rs.reconfig(conf)

計算延遲：

查看當前副本集oplog狀態

rs.printReplicationInfo()

configured oplog size:oplog配置的大小

log length start to end: oplog包含的操作時長。

oplog first event time: oplog第一條操作的時間。

oplog last event time: oplog最后一條操作的時間。

now:當前時間。

注意：oplog中第一條操作與最后一條操作的時間差就是操作日志的長度。

查看復制延遲，會顯示當前所有的備份節點同步時間，和落后主節點的時長：

rs.printSlaveReplicationInfo()

調整oplog大小：

1)  如果是主節點，將主節點變成備份節點。

2)  將oplog中的最后一條insert操作保存到其它集合中。

use local

db.tempLastOp20180330.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() )

3)   關閉當前服務

4)   以單機模式啟動,可以指定一個新的端口，或者將replSet注釋掉已配置文件啟動

mongod --port 6777 --bind_ip 192.168.10.10,127.0.0.1 --dbpath /u02/mongo6777/data/

5)   刪除當前oplog

db.oplog.rs.drop();

6)   創建新的oplog

db.createCollection("oplog.rs",{"capped":true,"size":1048576})

db.createCollection("oplog.rs",{"capped":true,"size":(2*1024*1024*1024)})

7)  將最后一條insert記錄寫回oplog

var tempLastOp=db.tempLastOp20180330.find().next()

db.oplog.rs.insert(tempLastOp)

db.oplog.rs.find()

8)  以副本成員身份啟動當前服務