如何使用FEC解決網絡丟包

本文在介紹關于FEC的基礎上，重點探討了使用FEC解決網絡丟包的具體步驟，步驟簡單易上手操作，文章內容步步緊湊，希望大家根據這篇文章可以有所收獲。

FEC：Forward Error Correction，前向糾錯

FEC 是一種通過在網絡傳輸中增加數據包的冗余信息，使得接收端能夠在網絡發生丟包后利用這些冗余信息直接恢復出丟失的數據包的一種方法。

FEC 的基礎理論：異或

異或的規則

兩個值不相等則為 1，相等則為 0；

0 ^ 0 = 0
1 ^ 1 = 0
0 ^ 1 = 1
1 ^ 0 = 1

注：按位異或 ^，則是把兩個數轉換為二進制，按位進行異或運算。

異或的特性

恒等律：X ^ 0 = X
歸零律：X ^ X = 0
交換律：A ^ B = B ^ A
結合律：A ^ (B ^ C) = (A ^ B) ^ C

注：可以通過數學方法推導證明，我們這里只需要記住這些規則即可，后面有大量的應用。

XOR 的應用案例

有了這些 XOR 的基礎理論，我們看看它是怎么應用到實際中的 “校驗” 和 “糾錯” 的。

奇偶校驗（Parity Check）

判斷一個二進制數中 1 的數量是奇數還是偶數（應用了異或的 恒等律 和  歸零律）：

// 例如：求 10100001 中 1 的數量是奇數還是偶數
// 結果為 1 就是奇數個 1，結果為 0 就是偶數個 1
1 ^ 0 ^ 1 ^ 0 ^ 0 ^ 0 ^ 0 ^ 1 = 1

這條性質可用于奇偶校驗（Parity Check），每個字節的數據都計算一個校驗位，數據和校驗位一起發送出去，這樣接收方可以根據校驗位粗略地判斷接收到的數據是否有誤。

磁盤陣列-RAID5

使用 3 塊磁盤（A、B、C）組成RAID5 陣列來存儲用戶的數據，把每份數據切分為 A、B 兩部分，然后把 A xor B 的結果作為 C ，分別寫入 A、B、C 三塊磁盤。最終，任意一塊磁盤出錯，都是可以通過另外兩塊磁盤的數據進行恢復的。

實現原理：應用了異或的 恒等律 和  結合律

c = a ^ b
a = a ^ (b ^ b) = (a ^ b) ^ b = c ^ b
b = (a ^ a) ^ b = a ^ c

基于 XOR 的 FEC

假設網絡通信有 N 個 packet 需要發送，那么，可以類似上述 RAID5 的策略，每 2 個 packet 生成一個 FEC packet，這樣，連續的 3 個 packet 的任意一個 packet 丟失，都能通過另外 2 個恢復出來的。

但考慮到每 2 個 packet 就產生 1 個 fec packet，冗余度可能有點高（比較浪費帶寬），我們能否每 3 個或者每 N 個 packet 再產生一個 fec packet 呢？當然可以，我們以每 3 個 packet（A、B、C） 產生 1 個 fec packet（D）為例來推導一下：

d = a ^ b ^ c
a = a ^ (b ^ b) ^ (c ^ c) = (b ^ c) ^ (a ^ b ^ c) = b ^ c ^ d
b = (a ^ a) ^ b ^ (c ^ c) = (a ^ c) ^ (a ^ b ^ c) = a ^ c ^ d
c = (a ^ a) ^ (b ^ b) ^ c = (a ^ b) ^ (a ^ b ^ c) = a ^ b ^ d

由上述公式推導即可知道，這 4 個 packet，任意丟失 1 個 packet，均可以由其他 3 個 packet 恢復出來。

對象存儲-EC糾刪碼

一些互聯網云計算公司提供的對象存儲服務，都會宣稱自己具有極高的數據可靠性，使用了如三副本技術、EC 糾刪碼技術等等，后者大致方案如圖所示：

圖中采用的是 8+4 的糾刪碼策略（即：原始數據切割為 8 份，計算出 4 份冗余信息），將這 12 份分別存儲在 不同機柜的 12 臺不同節點上，即使同一時刻出現多臺節點（至多 4 臺）損壞或不可訪問，只要有不少于 8 個節點可用，數據即可恢復。

不知道大家看出來點什么沒有？相比于上面基于 N 個 packet 產生 1 個 FEC packet 的方案，這種 K + M 的糾刪碼策略具有更好的扛丟失能力，總結下來就是：

通過 K個有效數據，產生 M 個 FEC 冗余包，這 K + M 個數據，任意丟失 M 個數據，都能把 K 個有效數據恢復出來。

其實這種方案，最早也是應用于網絡傳輸領域的，只不過被借用到存儲領域來提高磁盤的利用率。要實現這種 K + M 的 FEC 策略，使用簡單的 XOR 異或來推導比較難，需要借助矩陣相關的計算，實現方案有很多種，下面簡單介紹下最著名和常用的 Reed-solomon codes。

Reed-Solomon Codes

里德-所羅門碼（Reed-solomon codes，簡稱 RS codes），利用該原理實現的 FEC 策略，通常也叫做 RS-FEC。網上關于它的介紹特別多，本文就不詳細展開了，僅簡單以示意圖的形式給出大致的原理：

RS codes 編碼過程

大致原理如下：假設有效數據有 K 個，期望生成 M 個 FEC 數據

    1.  把 K 個有效數據組成一個單位向量 D

   2.  生成一個變換矩陣 B：由一個 K 階的單位矩陣 和一個 K * M 的范德蒙特 矩陣（Vandemode）組成

   3.  兩個矩陣相乘得到的矩陣 G，即包含了 M 個冗余的 FEC 數據

RS codes 解碼過程

假設數據 D1，D4，C2 丟失了，則取對應行的范德蒙矩陣的逆 * 沒有丟失的數據矩陣，則可以恢復出原始的數據矩陣。

大致原理如下：假設數據 D1，D4，C2 丟失了

   1.  對矩陣 B 和 D，分別取沒有丟失的行構成 B‘ 和 G’

   2.  根據如下公式，即可計算恢復出有效數據向量 D

B' x D = G'  ->>>  D = B' 的逆 x G'

關于使用FEC解決網絡丟包就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果喜歡這篇文章，不如把它分享出去讓更多的人看到。