CDH網絡要求的示例分析

這篇文章主要介紹了CDH網絡要求的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1.組網配置

    建議的Cloudera組網配置如下圖，主要包含數據網絡和管理網絡。

2.數據網絡

    數據網絡是用于數據訪問的節點之間的私有集群數據互連，比如在集群內的節點之間移動數據，或者將數據導入到CDH集群。CDH集群通常會連接到企業內部的數據網絡。

    需要2個TOR交換機：一個是用作帶外管理，一個是用于CDH的數據網絡。節點的帶外管理至少需要一個1GbE交換機。數據網絡的交換機一般為10GbE，具體取決于工作負載。

    推薦的1GbE交換機是Lenovo RackSwitch G8052。10Gb以太網交換機可以提供額外的I/O帶寬，以獲得更好的性能。推薦的10GbE交換機是Lenovo System NetworkingRackSwitch 8272。

    每個節點的兩個Broadcom 10GbE端口可以綁定后連接到G8272交換機，從而提高性能或配置HA。數據網絡可以配置為使用VLAN。

注：無論是工作節點還是管理節點，Cloudera都不支持multi-homing。

3.硬件管理網絡

    硬件管理網絡是用于帶外硬件管理的1 GbE網絡。通過System x3650 M5服務器中的集成管理模塊II（IMM2），帶外管理可實現集群節點的硬件級管理，如節點部署，基本輸入/輸出系統（BIOS）配置，狀態和電源狀態。

    Hadoop不依賴于IMM2。根據客戶要求，管理鏈接可以分隔到不同的VLAN或子網上。 管理網絡通常直接連接到客戶的管理網絡。

參考架構需要一個1 Gb以太網TOR交換機用于硬件管理網絡。管理員還可以通過客戶管理網絡訪問集群中的所有節點，在第一章的圖中，管理鏈路連接到集成的1 GBaseT適配器上的專用IMM2端口。

4.多機架的網絡

    以上談到的數據網絡的參考架構配置是由單個網絡拓撲構成的。如果是多機架的架構，還需要一個聯想RackSwitch G8316核心交換機。 在這種情況下，第二個Broadcom10 GbE端口可以連接到第二個Lenovo RackSwitch G8272。G8272的過載率（over-subscription ratio）是1：2.

下圖展示了當CDH集群安裝在多個機架上時，如何配置網絡。每個機架的G8272交換機通過兩個聚合的40 GbE上行鏈路連接到核心G8316交換機。

注：為了簡化這個圖，圖中僅繪制了一個G8272，但是推薦使用兩個G8272并配置為HA。

跨機架的交換機推薦40GbE的，可以用Lenovo System NetworkingRackSwitch G8316。最佳實踐是為每個機架安裝冗余的核心交換機，以避免單點故障。在每個機架內，G8052交換機可以選擇配置為具有兩個G8272交換機的上行鏈路，以允許通過G8316核心交換機在集群機架之間傳播管理VLAN。對于大型集群，推薦使用Lenovo System NetworkingRackSwitch G8332，因為每個40 Gb的端口的價格比G8316要更低。可以配置成許多機架能互相訪問網絡，但可能需要做一些特定的部署配置來滿足超過3個機架的快速尋址。

如果開始規劃的就是多機架的解決方案，或者隨著系統的擴容后面慢慢的加入了一些機架，CDH管理服務相關的節點我們建議分開部署在不同的機架從而最大化容錯。

5.CDH其他網絡要求

Hadoop網絡要求：

1.所有的Hadoop服務器節點應該是獨有的網絡，而不存在跟其他應用程序的節點共享網絡I/O的情況。

2.每個服務器應該都配置靜態IP。如果配置了動態IP，在機器重啟或者DNS租約過期時，機器的IP地址會改變，這將導致Hadoop服務故障。

3.專用TOR交換機。

4.專用的核心交換刀片或者核心交換機。

5.盡量保證應用服務器與Hadoop“近”一些。

6.CDH只支持IPv4，不支持IPv6

7.機架之間的網絡連接速度應該足夠快。

8.確保網絡接口對于集群中的所有節點應該是一致的。（比如MTU設置應該一樣）

9.關閉所有節點的Huge Page compaction

10.確保集群中的所有網絡連接都會被監控，比如沖突和丟包問題。以方便后期進行排障。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“CDH網絡要求的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!