Docker網絡基礎中Linux網橋工作原理以及是怎樣實現的

Docker網絡基礎中Linux網橋工作原理以及是怎樣實現的，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

本文轉載自微信公眾號「Linux內核那些事」，作者songsong001 。轉載本文請聯系Linux內核那些事公眾號。

Linux 的 網橋 是一種虛擬設備(使用軟件實現)，可以將 Linux 內部多個網絡接口連接起來，如下圖所示：

而將網絡接口連接起來的結果就是，一個網絡接口接收到網絡數據包后，會復制到其他網絡接口中，如下圖所示：

如上圖所示，當網絡接口A接收到數據包后，網橋 會將數據包復制并且發送給連接到 網橋 的其他網絡接口(如上圖中的網卡B和網卡C)。

Docker 就是使用 網橋 來進行容器間通訊的，我們來看看 Docker 是怎么利用 網橋 來進行容器間通訊的，原理如下圖：

Docker 在啟動時，會創建一個名為 docker0 的 網橋，并且把其 IP 地址設置為 172.17.0.1/16(私有 IP  地址)。然后使用虛擬設備對 veth-pair 來將容器與 網橋 連接起來，如上圖所示。而對于 172.17.0.0/16 網段的數據包，Docker  會定義一條 iptables NAT 的規則來將這些數據包的 IP 地址轉換成公網 IP 地址，然后通過真實網絡接口(如上圖的 ens160  接口)發送出去。

接下來，我們主要通過代碼來分析 網橋 的實現。

網橋的實現

1. 網橋的創建

我們可以通過下面命令來添加一個名為 br0 的 網橋 設備對象：

[root@vagrant]# brctl addbr br0

然后，我們可以通過命令 brctl show 來查看系統中所有的 網橋 設備列表，如下：

[root@vagrant]# brctl show bridge name     bridge id               STP enabled     interfaces br0             8000.000000000000       no docker0         8000.000000000000       no

當使用命令創建一個新的 網橋 設備時，會觸發內核調用 br_add_bridge() 函數，其實現如下：

int br_add_bridge(char *name) {     struct net_bridge *br;      if ((br = new_nb(name)) == NULL) // 創建一個網橋設備對象         return -ENOMEM;      if (__dev_get_by_name(name) != NULL) { // 設備名是否已經注冊過?         kfree(br);         return -EEXIST; // 返回錯誤, 不能重復注冊相同名字的設備     }      // 添加到網橋列表中     br->next = bridge_list;     bridge_list = br;     ...     register_netdev(&br->dev); // 把網橋注冊到網絡設備中      return 0; }

br_add_bridge() 函數主要完成以下幾個工作：

• 調用 new_nb() 函數創建一個 網橋 設備對象。

• 調用 __dev_get_by_name() 函數檢查設備名是否已經被注冊過，如果注冊過返回錯誤信息。

• 將 網橋 設備對象添加到 bridge_list 鏈表中，內核使用 bridge_list 鏈表來保存所有 網橋 設備。

• 調用 register_netdev() 將網橋設備注冊到網絡設備中。

從上面的代碼可知，網橋 設備使用了 net_bridge 結構來描述，其定義如下：

struct net_bridge {     struct net_bridge           *next;               // 連接內核中所有的網橋對象     rwlock_t                    lock;                // 鎖     struct net_bridge_port      *port_list;          // 網橋端口列表     struct net_device           dev;                 // 網橋設備信息     struct net_device_stats     statistics;          // 信息統計     rwlock_t                    hash_lock;           // 用于鎖定CAM表     struct net_bridge_fdb_entry *hash[BR_HASH_SIZE]; // CAM表     struct timer_list           tick;      /* STP */     ... };

在 net_bridge 結構中，比較重要的字段為 port_list 和 hash：

• port_list：網橋端口列表，保存著綁定到 網橋 的網絡接口列表。

• hash：保存著以網絡接口 MAC地址 為鍵值，以網橋端口為值的哈希表。

網橋端口 使用結構體 net_bridge_port 來描述，其定義如下：

struct net_bridge_port {     struct net_bridge_port  *next;   // 指向下一個端口     struct net_bridge       *br;     // 所屬網橋設備對象     struct net_device       *dev;    // 網絡接口設備對象     int                     port_no; // 端口號      /* STP */     ... };

而 net_bridge_fdb_entry 結構用于描述網絡接口設備 MAC地址 與 網橋端口 的對應關系，其定義如下：

struct net_bridge_fdb_entry {     struct net_bridge_fdb_entry *next_hash;     struct net_bridge_fdb_entry **pprev_hash;     atomic_t                    use_count;     mac_addr                    addr;  // 網絡接口設備MAC地址     struct net_bridge_port      *dst;  // 網橋端口     ... };

這三個結構的對應關系如下圖所示：

可見，要將 網絡接口設備 綁定到一個 網橋 上，需要使用 net_bridge_port 結構來關聯的，下面我們來分析怎么將一個 網絡接口設備 綁定到一個  網橋 中。

網橋是工作在 TCP/IP 協議棧的第二層，也就是說，網橋能夠根據目標 MAC 地址對數據包進行廣播或者單播。當目標 MAC 地址能夠從網橋的 hash  表中找到對應的網橋端口，說明此數據包是單播的數據包，否則就是廣播的數據包。

2. 將網絡接口綁定到網橋

要將一個 網絡接口設備 綁定到一個 網橋 上，可以使用以下命令：

[root@vagrant]# brctl addif br0 eth0

上面的命令讓網絡接口 eth0 綁定到網橋 br0 上。

當調用命令將網絡接口設備綁定到網橋上時，內核會觸發調用 br_add_if() 函數來實現，其代碼如下：

int br_add_if(struct net_bridge *br, struct net_device *dev) {     struct net_bridge_port *p;     ...     write_lock_bh(&br->lock);      // 創建一個新的網橋端口對象, 并添加到網橋的port_list鏈表中     if ((p = new_nbp(br, dev)) == NULL) {          write_unlock_bh(&br->lock);         dev_put(dev);         return -EXFULL;     }      // 設置網絡接口設備為混雜模式     dev_set_promiscuity(dev, 1);     ...     // 添加到網絡接口MAC地址與網橋端口對應的哈希表中     br_fdb_insert(br, p, dev->dev_addr, 1);     ...     write_unlock_bh(&br->lock);      return 0; }

br_add_if() 函數主要完成以下工作：

• 調用 new_nbp() 函數創建一個新的 網橋端口 并且添加到 網橋 的 port_list 鏈表中。

• 將網絡接口設備設置為 混雜模式。

• 調用 br_fdb_insert() 函數將新建的 網橋端口 插入到網絡接口 MAC地址 對應的哈希表中。

也就是說，br_add_if() 函數主要建立 網絡接口設備 與 網橋 的關系。

3. 網橋中的網絡接口接收數據

當某個 網絡接口 接收到數據包時，會判斷這個 網絡接口 是否綁定到某個 網橋 上，如果綁定了，那么就調用 handle_bridge()  函數處理這個數據包。handle_bridge() 函數實現如下：

static int __inline__ handle_bridge(struct sk_buff *skb, struct packet_type *pt_prev) {     int ret = NET_RX_DROP;     ...     br_handle_frame_hook(skb);     return ret; }

br_handle_frame_hook 是一個函數指針，其指向 br_handle_frame() 函數，我們來分析 br_handle_frame()  函數的實現：

void br_handle_frame(struct sk_buff *skb) {     struct net_bridge *br;      br = skb->dev->br_port->br; // 獲取設備連接的網橋對象      read_lock(&br->lock);   // 對網橋上鎖     __br_handle_frame(skb); // 調用__br_handle_frame()函數處理數據包     read_unlock(&br->lock); }

br_handle_frame() 函數的實現比較簡單，首先對 網橋 進行上鎖操作，然后調用 __br_handle_frame()  處理數據包，我們來分析 __br_handle_frame() 函數的實現：

static void __br_handle_frame(struct sk_buff *skb) {     struct net_bridge *br;     unsigned char *dest;     struct net_bridge_fdb_entry *dst;     struct net_bridge_port *p;     int passedup;      dest = skb->mac.ethernet->h_dest; // 目標MAC地址     p = skb->dev->br_port;            // 網絡接口綁定的端口     br = p->br;     passedup = 0;     ...     // 將學習到的MAC地址插入到網橋的hash表中     if (p->state == BR_STATE_LEARNING || p->state == BR_STATE_FORWARDING)         br_fdb_insert(br, p, skb->mac.ethernet->h_source, 0);     ...     if (dest[0] & 1) {        // 如果是一個廣播包         br_flood(br, skb, 1); // 把數據包發送給連接到網橋上的所有網絡接口         if (!passedup)             br_pass_frame_up(br, skb);         else             kfree_skb(skb);         return;     }      dst = br_fdb_get(br, dest);    // 獲取目標MAC地址對應的網橋端口     ...     if (dst != NULL) {             // 如果目標MAC地址對應的網橋端口存在         br_forward(dst->dst, skb); // 那么只將數據包轉發給此端口         br_fdb_put(dst);         return;     }      br_flood(br, skb, 0); // 否則發送給連接到此網橋上的所有網絡接口     return;     ... }

__br_handle_frame() 函數主要完成以下幾個工作：

• 首先將從數據包中學習到的MAC地址插入到網橋的hash表中。

• 如果數據包是一個廣播包(目標MAC地址的第一位為1)，那么調用 br_flood() 函數把數據包發送給連接到網橋上的所有網絡接口。

• 調用 br_fdb_get() 獲取目標MAC地址對應的網橋端口，如果目標MAC地址對應的網橋端口存在，那么調用 br_forward()  函數把數據包轉發給此端口。

• 否則調用 調用 br_flood() 函數把數據包發送給連接到網橋上的所有網絡接口。

函數 br_forward() 用于把數據包發送給指定的網橋端口，其實現如下：

static void __br_forward(struct net_bridge_port *to, struct sk_buff *skb) {     skb->dev = to->dev;     dev_queue_xmit(skb); }  void br_forward(struct net_bridge_port *to, struct sk_buff *skb) {     if (should_forward(to, skb)) { // 端口是否能夠接收數據?         __br_forward(to, skb);         return;     }     kfree_skb(skb); }

br_forward() 函數通過調用 __br_forward() 函數來發送數據給指定的網橋端口，__br_forward()  函數首先將數據包的輸出接口設備設置為網橋端口綁定的設備，然后調用 dev_queue_xmit() 函數將數據包發送出去。

而 br_flood() 函數用于將數據包發送給綁定到 網橋 上的所有網絡接口設備，其實現如下：

void br_flood(struct net_bridge *br, struct sk_buff *skb, int clone) {     struct net_bridge_port *p;     struct net_bridge_port *prev;     ...     prev = NULL;      p = br->port_list;     while (p != NULL) {              // 遍歷綁定到網橋的所有網絡接口設備         if (should_forward(p, skb)) { // 端口是否能夠接收數據包?             if (prev != NULL) {                 struct sk_buff *skb2;                  // 克隆一個數據包                 if ((skb2 = skb_clone(skb, GFP_ATOMIC)) == NULL) {                      br->statistics.tx_dropped++;                     kfree_skb(skb);                     return;                 }                  __br_forward(prev, skb2); // 把數據包發送給設備             }              prev = p;         }          p = p->next;     }      if (prev != NULL) {         __br_forward(prev, skb);         return;     }      kfree_skb(skb); }

br_flood() 函數的實現也比較簡單，主要是遍歷綁定到網橋的所有網絡接口設備，然后調用 __br_forward()  函數將數據包轉發給設備對應的端口。

看完上述內容，你們掌握Docker網絡基礎中Linux網橋工作原理以及是怎樣實現的的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！