IT設備的救命稻草-如何正確構建OOB帶外網絡

現實生活中，無論是傳統的大型園區網絡，運營商。或是現今流行的數據中心、虛擬化等技術，往往歸根結底都是大量的網絡設備以及服務器堆疊而成。自然而然，當網絡或者服務器因為軟件故障或者人為操作失誤的原因導致系統宕機后，如何第一時間登陸到故障設備，并快速恢復業務已經成為考驗運維人員的一大難題。

其實，試想如果網絡中存在一個完善的OOB帶外網絡，在故障發生時，網絡控制中心可通過此網絡登錄網絡設備或者服務器的帶外管理接口或者Console接口。從而第一時間獲取故障信息并予以修正，或者收集log文件上報廠家。豈不美哉？

OOB網絡定義及現網問題分析

在詳細介紹解決方案之前，先明確什么是OOB帶外網絡。

OOB全稱Out Of Band，而OOB帶外網絡是指：通過一套與任何業務數據網絡沒有關聯的獨立網絡，網絡控制中心可以連接到各個服務器或者網絡設備的管理接口或者console。此管理流量不會因業務數據網絡重大故障而受其影響，故稱之為帶外網絡。與之相對于的則是帶內網絡。

為什么需要OOB網絡？

對很多企業或者運營商來說，當進行計劃性的遠端網絡或系統維護時，往往會提前安排遠端值班人員或者臨時駐場工程師隨時待命。若因為軟件Bug等情況導致系統無法啟動時，駐場工程師到達現場并連接帶外接口或者console，協助遠端操作工程師進行故障排查及業務恢復。

此方法存在的兩個弊端：

• 一方面駐場工程師經驗資質可能低于遠端執行計劃事務的工程師，從而導致故障排查進度緩慢，故障時間延長。最總影響網絡KPI以及非常糟糕的客戶使用體驗。

• 另一方面，無論是值班人員或者駐場工程師都存在項目成本問題，長期來說，每一次計劃性的維護都需要一個駐場人員待命。但其實多數維護工作并不一定就會產生嚴重的故障，可是為了“萬一”兩字，也需要駐場工程師支持。

對于網絡規模較大，業務節點分布全國的大型企業甚至運營商來說，這些問題會被不斷放大。試想某企業的北京總部為了管理公司全國的網絡節點，沒有OOB網絡而通過大量的駐場工程師協助維護將是一件費時費力的事情。

解決方案

如果此時引入OOB網絡，無論是執行計劃維護的工程師還是日常運維工程師，OOB就如一顆定心丸。一旦出現任何意外事故，工程師可以立即通過OOB網絡登錄遠端故障設備立即排查故障，并及時恢復業務。所以OOB網絡從某種程度上可算的上是IT設備的救命稻草。

真OOB？假OOB？

也許有朋友會問到，我司的設備所有帶外接口和console接口也都通過網絡設備互聯起來了，我們可以隨時隨地通過帶外接口或者console接口登錄設備。

但是，依我多年經驗發現，很多企業為了節省管理成本。僅僅是簡簡單單把帶外接口以及console-以太網轉換設備直連到業務交換機或者路由器上。

當企業網絡工作正常時，一切相安無事。試想如出現任何網絡故障時，則極有可能波及此“帶外管理”和console接口設備，從而導致這些“帶外設備”形同虛設。

此為假OOB網絡！

如何正確構建OOB網絡

為正確構建OOB網絡，我們需要遵循如下要求：

    1). 此OOB網絡需要與業務網絡完全獨立。

如何實現與業務網絡完全獨立？

對企業來說，如果購買了運營商A的業務網絡。則可以通過購買運營商B的廣域網接入服務接入全國重要網絡節點的OOB網絡，以及連接到公司總部OOB核心節點。

對于運營商來說，可以重新鋪設獨立的OOB光纖網絡。或者租用其他運營商的廣域網構建其獨立的OOB網絡。

    2). 網絡需要覆蓋企業或者運營商所有的重要網絡節點，無論國內還是國際節點。

所謂的重要網絡節點是指那些如果出現故障會引起區域范圍的嚴重服務中斷，例如企業的某遠程節點機房核心交換機或路由器。而對運營商來說，可能是某PE路由器，P路由器或者BNG等。

那什么是國際節點？隨著越來越多的中國公司走出國門。在海外設置分支機構的公司屢見不鮮。所以對于國內總部來說，遠端OOB網絡管理海外節點尤其重要。同樣對于運營商上來說，也存在很多海外PE路由器等。這些都是需要被OOB網絡保護的對象。

與境內OOB節點不同的是，我們很難找到一個獨立的運營商幫助構建一個涵蓋國內和國際節點的OOB網絡。這個時候就需要借助Internet來連接海外OOB節點。總部OOB網絡站點可以連接本地運營商的Internet。而海外OOB站點可以通過連接當地運營商從而獲得Internet接入。

   3). 當連接國際節點時，需要有安全的通信機制來保障OOB網絡的私密性。

上面提到需要用Internet來保證國際節點的通信。而Internet本身是不被信任的，同時日常工作中，網管數據大部分均為明文數據，為了解決此問題我們需要有一套安全機制來保證國內總部OOB網絡與國外分支OOB設備的通信是安全可靠的。

    4).7x24的高可用性。

    5.) 通過OOB網絡能夠連接到網絡設備的帶外接口、系統設備的iLO口，以及最重要的console 口等管理接口。

    6). 具備監控節點環境的功能，例如但不限于：機柜前后門的開關監控，機柜溫度監控等。

監控節點環境和監控設備軟件方面的健康同樣重要。只有保證設備的物理安全才存在軟件方面的設備監控。例如我們需要監控機柜門是否在未授權的情況下開啟或者關閉，如果此情況發生，總部管理員會收到相關的告警提示等。

OOB網絡設備選型

與業務網絡設備類似，OOB網絡也需要對于的網絡設備來支撐。但相比業務網絡，OOB網絡存在如下特性：

·        低帶寬，ssh/telnet/SNMP等管理流量占用帶寬很低。偶爾會存在帶外FTP或者SCP傳輸升級文件等情況，但是總的來說對吞吐量要求不高。

·        有一定的安全性要求，支持防火墻功能，支持IPsec***等。

而console轉以太網設備，正如上文OOB要求中提到，除基本的以太網轉console功能以外，還需要環境溫度檢測，以及通過DIO接口配合小型觸發開關來檢測機柜門的開關動作。

#選型示例#

通過分析，選型如下（以Juniper為例）：

OOB網絡路由器：

總部：SRX300 x2 組成Cluster模式，支持1Gbps光纖。

Juniper最新款企業級低端防火墻，支持所有路由器協議（例如：RIP, OSPF, BGP等），交換功能，以及作為防火墻本身細顆粒度的安全策略等。全1Gbps 以太網口以及1Gbps 光口。

分支機構：SRX110 100Mbps 以太網上聯或者ADSL、VDSL上聯。

與SRX300類似，支持所有路由協議，支持交換以及防火墻功能。同時由于有RJ11接口，支持xDSL服務。以太網口為100Mbps。

OOB Console轉換器：（以Opengear為例）

分支機構：Opengear 遠端網關，根據console口數量不同，型號也不同。支持溫度傳感器以及DIO編程接口。

（注：下圖的Opengear 甚至支持3G/4G，在某些不具備有線OOB網絡連接的地方，例如某些戶外站點可以使用3G/4G版本的Opengear做到遠程OOB網絡管理。）

以上僅是選型示例。當然，你可以根據自身需求以及當地市場情況采用類似的產品來實現一樣的效果。

網絡設計

設備選型完成以后，接下來就是網絡設計階段，根據OOB網絡需求分析，得出如下網絡框架，如下圖：

技術細節

OOB設備數量

OOB設備數量包含SRX110設備數量以及Opengear 數量，兩者的區別在于，SRX110除了預留一個接口連接Opengear的以太網接口以外，剩余的以太網接口將用于連接業務設備的帶外管理接口，例如Juniper設備的FXP0接口。

基于此，工程師需要統計每一個遠程OOB站點需要接入多少業務設備，每一個設備存在多少個帶外管理接口或iLo接口，此決定了所需SRX110接口數量，若業務設備帶外管理口數量超過SRX110的以太網接口數，我們可以通過下掛二層交換機的方法解決接口短缺。

同時，工程師也需要統計每個站點需要接入OOB網絡的業務設備console數量。并根據此數量購買相應的Opengear設備。

子網劃分

在OOB網絡中，有如下幾個地方需要IP地址：

1.     每一個遠端OOB站點（國內和國際）需要一個獨立的子網用于SRX110下掛子網網關，Opengear以太網接口需要一個IP地址作為console登陸地址，以及業務設備帶外接口IP。

2.     國內遠端OOB站點SRX110與OOB中心路由器SRX300之間，需要點對點的IP地址來做到互聯互通。

3.     在網管中心與OOB中心節點SRX300之間需要建立點對點互聯。此處也需要IP地址。

4.     最后就是互聯網Internet IP地址。SRX300 需要向本地運營商申請互聯網Internet點對點IP地址。而海外OOB節點也同樣需要從當地的運營商申請Internet IP地址。

互聯互通

三層路由互聯方面，國內OOB網絡和國際OOB網絡實現細節不盡相同。

先從國內OOB網絡說起:

由于使用了運營商B的廣域網來連接各個OOB節點。根據運營商B提供的網絡服務不同，可以采用不同的路由協議。

存在下面兩種情況：

    1.     若運營商B根據每一個OOB站點分配一個VLAN ID，此VLAN ID最終二層透傳到總部OOB網絡SRX300（在運營商此為L2***技術）。此種情況下，SRX300配置為點到多點P2MP型接口來連接所有國內遠程站點。并在點到多點P2MP上運行OSPF協議，從而讓總部能夠學習到所有OOB站點的網段。另外，總部SRX300通過OSPF發布默認路由到每一個分支OOB網絡站點。

    2.     若運營商B在其內部為此OOB網路構建了一個三層VRF。所有國內遠程OOB節點均通過PPPoE協議學習到運營商B的默認網關，而在OOB網絡中心節點來說，由于是光纖專線，OOB網絡SRX300可以與運營商B的PE運行BGP協議從而學習到所有國內遠程OOB站點的網段信息。

對國際OOB站點而言

由于是通過Internet傳輸數據，所以保證海外OOB站點與中心OOB站點的數據通信安全可靠非常重要。自然而然IPsec *** Site to Site是最好的選擇。通過在海外站點與中心站點之間建立IPsec 隧道。所有網管數據例如SNMP，FTP，telnet等明文數據均被很好的保護起來。

而為了實現中心OOB網絡站點與海外站點的互聯互通，取決于海外OOB站點的數量多少，我們可以采用點對點OSPF動態學習的方式，站點較少的情況下也可以手工指定靜態路由來實現路由的互通。

總結

本文概述了OOB帶外網絡的定義，以及業務網和帶外網分離的重要性。同時也介紹了如何構架一個安全完整的OOB網絡。

在完成OOB網絡構建以后，一方面減少了公司項目資源不必要的浪費，同時也大大減小了運維工程師的壓力，畢竟出現軟件bug等故障時，我們還有那么一根救命稻草。

謝謝大家的關注！