如何使用LVS+DR來搭建集群實現負載均衡

下文給大家帶來如何使用LVS+DR來搭建集群實現負載均衡，希望能夠給大家在實際運用中帶來一定的幫助，負載均衡涉及的東西比較多，理論也不多，網上有很多書籍，今天我們就用億速云在行業內累計的經驗來做一個解答。

DR模式的概述與工作原理

DR模式服務概述： 

      Direct Routing(直接路由) --在同一個地域，同一個網段

Director分配請求到不同的real server。real server處理請求后直接回應給用戶，這樣director負載均衡器僅處理客戶機與云服務器的一半連接。負載均衡器僅處理一半的連接，避免了新的性能瓶頸，同樣增加了系統的可伸縮性。Direct Routing由與采用物理層（修改MAC地址）技術，因此所有服務器都必須在一個網段中。

LVS DR 模式工作原理： 修改MAC地址
    DR模式將報文直接路由給目標真實服務器。在DR模式中，調度器根據各個真實服務器的負載情況，連接數多少等，動態地選擇一臺服務器，不修改目標IP地址和目標端口，也不封裝IP報文，而是將請求報文的數據幀的目標MAC地址改為真實服務器的MAC地址。然后再將修改的數據幀在服務器組的局域網上發送。因為數據幀的MAC地址是真實服務器的MAC地址，并且又在同一個局域網。那么根據局域網的通訊原理，真實復位是一定能夠收到由LB發出的數據包。真實服務器接收到請求數據包的時候，解開IP包頭查看到的目標IP是VIP。（此時只有自己的IP符合目標IP才會接收進來，所以我們需要在本地的回環借口上面配置VIP。另：由于網絡接口都會進行ARP廣播響應，但集群的其他機器都有這個VIP的lo接口，都響應就會沖突。所以我們需要把真實服務器的lo接口的ARP響應關閉掉。）然后真實服務器做成請求響應，之后根據自己的路由信息將這個響應數據包發送回給客戶，并且源IP地址還是VIP。

DR模式實際拓撲圖及LVS+DR方式的工作流程圖： MAC轉換過程

實例場景設備清單： director分發器,DIP: 192.1681.70,

                             VIP :192.168.1.63

① client發送的請求基本信息： IP：192.168.1.101 向目標vip發出請求，Director接收。此時IP包頭及數據幀頭信息如下：

② Director分發器根據負載均衡算法選擇一臺active的realserver(假設是192.168.1.62)，將此RIP所在網卡的mac地址作為目標mac地址，發送到局域網里。此時IP包頭及數據幀頭信息如下：

③ realserver(192.168.1.62)在局域網中收到這個幀，脫掉數據幀后發現目標IP(VIP)與本地匹配，于是處理這個報文。隨后重新封裝報文，發送到局域網。此時回復請求的IP包頭及數據幀頭信息如下：

④如果client與VS同一網段，那么client(192.168.57.135)將收到這個回復報文。如果跨了網段，那么報文通過gateway/路由器經由Internet返回給用戶。

DR模式小結：
1、通過在調度器LB上修改數據包的目的MAC地址實現轉發。注意源地址仍然是CIP，目的地址仍然是VIP地址。
2、請求的報文經過調度器，而RS響應處理后的報文無需經過調度器LB，因此并發訪問量大時使用效率很高（和NAT模式比）
3、因為DR模式是通過MAC地址改寫機制實現轉發，因此所有RS節點和調度器LB只能在一個局域網里面
4、RS主機需要綁定VIP地址在LO接口上，并且需要配置ARP抑制。
5、RS節點的默認網關不需要配置成LB，而是直接配置為上級路由的網關，能讓RS直接出網就可以。
6、由于DR模式的調度器僅做MAC地址的改寫，所以調度器LB就不能改寫目標端口，那么RS服務器就得使用和VIP相同的端口提供服務。

一：實驗目標

1：正確理解DR的工作原理  

2：使用LVS+DR搭建集群實現負載均衡

3：理解LVS的幾種調度模式以及調度參數

4：了解ipvsadm命令參數

5：用ab命令測試網站壓力

6：實戰： 同時處理1000個請求。 一次要執行1000個并發請求。

二：實驗拓撲

三：實驗環境

1：準備3臺

分發器：xuegod63  VIP：eth0：1：192.168.1.63

                DIP：eth0：192.168.1.70

Real server xuegod62：  RIP：eth0： 192.168.1.62

                          VIP：lo：1  192.168.1.63

Real server xuegod64：  RIP：eth0： 192.168.1.64      

                          VIP：lo：1  192.168.1.63                                                                                                                         2：iptables -F , 清除規則

3：selinux關閉

4：red had 6.5版本 64位操作系統

四：實驗代碼

分發器-xuegod63 

1：配置DIP和RIP地址

DIP ：[root@xuegod63 ~]# ifconfig eth0 192.168.1.70 

VIP ：[root@xuegod63 ~]# ifconfig eth0:1 192.168.1.63

[root@xuegod63 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 #以配置以下信息

IPADDR=192.168.1.70 

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

DNS1=202.106.46.151

2：生成eth0:1配置文件

[root@xuegod63 network-scripts]# cp ifcfg-eth0 ifcfg-eth0:1

[root@xuegod63 network-scripts]# vim ifcfg-eth0\:1 #寫入以下內容

DEVICE=eth0:1

NM_CONTROLLED=yes

IPADDR=192.168.1.63

NETMASK=255.255.255.0

ONBOOT=yes

TYPE=Ethernet

PREFIX=24

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

NAME="eth0:1"

HWADDR=00:0C:29:12:EC:1E #Mac地址必需要寫成和eth0一樣，否則出不來eth0：1這個網卡設備

[root@xuegod63 network-scripts]#service network restart

[root@xuegod63 network-scripts]# ifconfig #查看是否有eth0 和eth0：1  

inet addr:192.168.1.63 Bcast:192.168.1.255 Mask:255.255.255.0

inet addr:192.168.1.63 Bcast:192.168.1.255 Mask:255.255.255.0

3：配置LVS-DR規則：

[root@xuegod63 network-scripts]# rpm -ivh /mnt/Packages/ipvsadm-1.25-9.el6.x86_64.rpm

[root@xuegod63 ~]# ipvsadm -A -t 192.168.1.63:80 -s rr

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.62 -g

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.64 -g

注： -g 表示DR模式 ， -m 表示IP tun 模式

[root@xuegod63 ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.1.63:80 rr

-> 192.168.2.62:80 Route 1 0 0

-> 192.168.2.64:80 Route 1 0 0

注：三個LVS 模式中，只有NAT模式需要開啟路由轉發功能。 DR和TUN模式不需要開啟。

4：LVS的規則配置文件：/etc/sysconfig/ipvsadm

找到配置文件方法： 因為：/etc/init.d/ipvsadm save 可以保存。所以配置文件一定可以在/etc/init.d/ipvsadm 中找到相關保存路徑。

[root@xuegod63 ~]# vim /etc/init.d/ipvsadm

[root@xuegod63 ~]# /etc/init.d/ipvsadm save

[root@xuegod63 ~]# cat /etc/sysconfig/ipvsadm

-A -t 192.168.1.63:80 -s wrr

-a -t 192.168.1.63:80 -r 192.168.1.62:80 -g

-a -t 192.168.1.63:80 -r 192.168.1.64:80 -g

RealServer：xuegod62：

1, 配置RIP eth0 ，橋接模式

[root@xuegod62 ~]# ifconfig eth0 192.168.1.62/24

2, 回環接口 -vip

[root@xuegod62 ~]# ifconfig lo:1 192.168.1.63 netmask 255.255.255.255

[root@xuegod62 network-scripts]# cp ifcfg-lo ifcfg-lo:1

[root@xuegod62 network-scripts]# cat ifcfg-lo:1

DEVICE=lo:1

IPADDR=192.168.1.63

NETMASK=255.255.255.255

ONBOOT=yes

NAME=loopback

[root@xuegod62 ~]# service network restart

3, 關閉ARP轉發功能。 

[root@xuegod62 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

[root@xuegod62 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

[root@xuegod62 ~]# vim /etc/sysctl.conf #最后添加

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

[root@xuegod62 ~]# sysctl -p #永久生效：(注意realserver的實際link ok的網卡是不是eth0)

4, 網關指向公網出口路由器IP：

[root@xuegod62 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

GATEWAY=192.168.1.1

5, 啟動80端口

[root@xuegod62 ~]# echo 192.168.1.62 > /var/www/html/index.html

[root@xuegod62 ~]# service httpd restart

RealServer：xuegod64：

1, 配置ip eth0 ，橋接模式

[root@xuegod64 ~]#ifconfig eth0 192.168.1.64/24

2, 回環接口

[root@xuegod64 ~]# ifconfig lo:1 192.168.1.63 netmask 255.255.255.255

[root@xuegod64 network-scripts]# cp ifcfg-lo ifcfg-lo:1

[root@xuegod64 network-scripts]# cat ifcfg-lo:1

DEVICE=lo:1

IPADDR=192.168.1.63

NETMASK=255.255.255.255

ONBOOT=yes

NAME=loopback

3, 關閉ARP轉發。 

[root@xuegod64 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

[root@xuegod64 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

永久生效：(注意realserver的實際link ok的網卡是不是eth0)

[root@xuegod64 ~]# vim /etc/sysctl.conf #最后添加

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

[root@xuegod64 ~]# sysctl -p

4, 網關指向公網出口路由器IP：

[root@xuegod64 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

GATEWAY=192.168.1.1

5, 啟動80端口

[root@xuegod64 ~]#echo 192.168.1.64 > /var/www/html/index.html

[root@xuegod64 ~]#service httpd restart

測試

物理機上測試：

http://192.168.1.63/

注： 測試時，不要在分發器上測試。那樣測試是不行的

////////////////////////////////////////////////////////////////////////////////////////////////////////

LVS的幾種調度模式：

[root@xuegod63 ~]# ipvsadm -h

測試不同的調度算法

例1：測試LVS的LVS-DR wrr-帶權重的循環法

[root@xuegod63 ~]# ipvsadm -C #清空之前的調度算法

[root@xuegod63 ~]# ipvsadm -A -t 192.168.1.63:80 -s wrr

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.62 -g -w 10

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.64 -g -w 20

測試： 在物理機上，刷新9次這個鏈接：http://192.168.1.63/

# 一共9次連接， xuegod62：xuegod64 是 1:2 關系。 說明權重越大，獲得的連接說越多。

例2：如果一個real server 的權重是0，將不再分配給他客戶端的請求

[root@xuegod63 ~]# ipvsadm -C

[root@xuegod63 ~]# ipvsadm -A -t 192.168.1.63:80 -s wrr

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.62 -g -w 0

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.64 -g -w 20

在物理機上，刷新9次這個鏈接：http://192.168.1.63/

查看：

 #發現進來的包是有的，但是出去的包為0 .有 0 是因為數據包出去時，直接交給了real server，而沒有交給Director 

例1：查看客戶端連接分發器和real server 的情況

例2：查看速率

例3：-Z --zero 虛擬服務表計數器清零（清空當前的連接數量等）

例4：刪除一條記錄

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

實戰： 同時處理1000個請求。 一次要執行1000個并發請求

語法： ab -n 數字 -c 數字 http://鏈接

-n requests Number of requests to perform

#在測試會話中所執行的請求總個數。默認時，僅執行一個請求

-c concurrency Number of multiple requests to make #一次產生的請求個數。默認是一次一個。

實戰： 同時處理1000個請求。 一次要執行1000個并發請求。

在xuegod64:測試VIP：

[root@xuegod64 ~]# ab -n 1000 -c 1000 http://192.168.1.63/index.html

linux下ab網站壓力測試命令

[root@xuegod63 ~]# ab -n 1000 -c 1000 http://192.168.1.63/index.html

可以測試一下后面兩機器的負載情況。

查看狀態：

[root@xuegod63 ~]# ab -n 1000 -c 1000 http://192.168.1.63/index.html

This is ApacheBench, Version 2.3 <$Revision: 655654 $>

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.1.63 (be patient 耐心)

Completed 100 requests

Completed 200 requests

Completed 300 requests

Completed 400 requests

Completed 500 requests

Completed 600 requests

Completed 630 requests

Completed 800 requests

Completed 900 requests

Completed 1000 requests

Finished 1000 requests #完成1000個請求

Server  Software: Apache/2.2.15   #被測試的httpd服務器版本：//平臺apache 版本2.2.15

Server  Hostname: 192.168.1.63   #服務器主機名

Server  Port: 80  #服務器端口

Document Path: /index.html  #測試的頁面文檔

Document Length: 13 bytes  #文檔大小

【說明：在xuegod62查看index.html大小。確實是13字節

[root@xuegod62 html]# ll -h

-rw-r--r-- 1 root root 13 May 5 17:57 index.html】 

Concurrency（并發） Level: 1000  #并發數

Time taken for tests: 2.166 seconds  #整個測試花費的時間

Complete requests: 1000  #完成的請求數量

Failed requests: 0  #失敗的請求數量

Write errors: 0

Total transferred: 281120 bytes  #整個測試過程中總傳輸字節數

HTML transferred: 13052 bytes  #整個場景中的HTML內容傳輸量

Requests per second: 461.77 [#/sec] (mean)  #每秒處理請求數。//大家最關心的指標一，相當于服務器中的每秒事務數 ，后面括號中的 mean 表示這是一個平均值

Time per request: 2165.597 [ms] (mean)  # 大家最關心的指標二，平均請求響應時間 ，后面括號中的 mean 表示這是一個平均值

Time per request: 2.166 [ms] (mean, across all concurrent requests)  #每個請求的時間：2.166[毫秒]（意思是說，在所有的并發請求） //每個請求實際運行時間的平均值。 由于對于并發請求，cpu實際上并不是同時處理的，而是按照每個請求獲得的時間片逐個輪轉處理的，所以基本上第一個Time per request時間約等于第二個Time per request時間乘以并發請求數

Transfer rate: 126.77 [Kbytes/sec] received  #傳輸速率：//平均每秒網絡上的流量，可以幫助排除是否存在網絡流量過大導致響應時間延長的問題

Percentage of the requests served within a certain time (ms) #在一定的時間內提供服務的請求的百分比（毫秒）

50% 581

66% 1053

75% 1075

80% 1089

90% 1393

95% 1793

98% 1800

99% 1804

100% 1807 (longest request)

//整個場景中所有請求的響應情況。在場景中每個請求都有一個響應時間，其中50％的用戶響應時間小于1093 毫秒，60％的用戶響應時間小于1247 毫秒，最大的響應時間小于7785 毫秒

看了以上關于如何使用LVS+DR來搭建集群實現負載均衡，如果大家還有什么地方需要了解的可以在億速云行業資訊里查找自己感興趣的或者找我們的專業技術工程師解答的，億速云技術工程師在行業內擁有十幾年的經驗了。