SRM常見用例和架構有哪些

這期內容當中小編將會給大家帶來有關SRM常見用例和架構有哪些，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Streams Replication Manager（SRM）是一種企業級復制解決方案，可實現容錯、可擴展且健壯的跨集群Kafka主題復制。SRM提供了動態更改配置的功能，并使Topic屬性在高性能的集群之間保持同步。SRM還提供了自定義擴展，可促進安裝、管理和監視，從而使SRM成為針對任務關鍵型工作負載而構建的完整復制解決方案。本文主要討論SRM的主要用例和用例的實現架構。

了解SRM的主要用例。

Apache Kafka已成為企業數據管道的重要組成部分，并用于跟蹤點擊流事件數據、收集日志、收集指標并成為基于微服務的體系結構中的企業數據總線。Kafka支持內部復制以支持集群中的數據可用性。但是，隨著基于Kafka的應用程序變得至關重要，企業要求數據可用性和持久性保證跨越整個集群和站點故障。

對于以下用例，跨集群和站點的數據復制是關鍵：

災難恢復

 跨集群復制的常見企業用例是在存在集群或數據中心范圍的中斷的情況下保證業務連續性。

匯總分析

聚合可能來自多個數據中心的多個流傳輸管道中的數據，以運行批處理分析作業，從而提供整個企業的整體視圖。

分析后的數據部署

這與聚合用例相反，在聚合用例中，一個集群（例如聚合集群）中由分析應用程序生成的數據可能會廣播到多個集群中，可能跨數據中心傳播，以供最終用戶使用。

隔離

由于性能或安全性原因，需要在不同環境之間復制數據以隔離訪問。在許多部署中，攝取集群與消耗集群是隔離的。

地理位置接近

在要求低延遲的地理分布的訪問模式中，復制用于將數據移近訪問位置。

云遷移

隨著越來越多的企業擁有內部部署和云服務，可以使用Kafka復制將數據遷移到公共云或私有云，再遷移回來。

法律與合規

與隔離用例非常相似，策略驅動的復制用于限制集群中可訪問的數據以滿足法律和法規遵從性要求。

Kafka的高可用性部署必須能夠在單個集群完全中斷的情況下幸免于難，同時繼續處理事件而不會丟失數據。使用SRM，您可以實施高可用性的Apache Kafka部署，該部署遵循活動/備用或活動/活動模型。

主備架構

在活動/備用方案中，您將設置兩個Kafka集群并配置SRM以在兩個集群之間雙向復制主題。VIP或負載平衡器指導您的生產者將消息提取到正在從中讀取消費者組的活動集群中。

圖1.主用 /備用架構標準操作

如果發生災難，VIP或負載平衡器會將生產者引導到備用集群。您可以輕松地遷移您的消費者組，以開始從備用集群中讀取數據，或者如果最終的消費者延遲對于您的用例而言是可接受的，則只需等到還原主集群即可。

當主集群關閉時，您的生產者仍然可以提取。恢復主集群后，SRM會自動處理兩個集群的同步，從而使故障回復變得無縫。

圖2.主用 /備用架構集群故障

當現有的具有已建立策略的災難恢復站點已經可用時，實施主動/備用架構是合理的選擇，并且您的目標包括在災難期間不丟失接收功能，并在災難恢復站點中進行備份。

主動/主動架構

在主動/主動方案中，可以將生產者負載平衡到主集群或輔助集群。SRM配置為在兩個集群之間雙向復制主題。之所以使該架構成為主動/主動架構，是因為您現在擁有讓消費者同時從兩個集群中讀取的事實，基本上就像跨集群的消費者群體一樣。萬一發生災難，VIP或負載均衡器會將生產者定向到輔助集群，并且輔助集群消費者組仍然可以處理消息。當主集群關閉時，您的生產者仍然可以接收并且您的消費者仍然可以處理消息。這將導致停機時間為零，并在發生災難時一旦主集群恢復聯機，自動進行故障轉移。

圖1.主動/主動架構

跨數據中心復制

SRM的跨數據中心復制體系結構示例。

某些應用程序不僅需要在一個數據中心或一個可用性區域內具有本地高可用性，而且還必須在整個數據中心內都具有高可用性。您可以使用SRM在不同數據中心的Kafka集群之間設置復制，從而使消息可用于每個數據中心的消費者。

如果主數據中心發生故障，負載均衡器會將您的生產者引導到本地數據中心或最近的數據中心。SRM配置為在所有數據中心之間復制主題。如果您使用兩個以上的數據中心，則將SRM配置為創建“復制圈”，以確保單個數據中心故障（例如，下例中的us-north）不會停止其余集群之間的復制。

圖1.跨數據中心復制架構

本地到云遷移和Kafka版本升級

用于SRM的本地到云和Kafka版本升級示例架構。

如果您有要遷移到云的本地Apache Kafka集群，則不僅必須遷移消費者和生產者，還必須將主題及其消息遷移到新的基于云的集群。

通過SRM設置復制后，只需要將消費者指向新的代理，即可開始處理來自云集群的消息。這種方法可確保將本地Kafka集群中保留的歷史數據遷移到云集群，從而使您可以直接從云中重放消息，而不必返回到本地集群。

圖1.本地集群遷移。SRM復制消息時，生產者和消費者正在使用本地集群。

將集群，生產者和消費者遷移到云后，就可以使用SRM改變復制方向，并將本地集群用作DR集群。

生產者和消費者已遷移到云集群，并且本地集群用于災難恢復。

圖2.集群遷移到云

如果必須將Kafka集群升級到較新版本，并且無法就地升級，則可以使用相同的遷移方法來配置新集群，在遷移生產者和消費者之前，可以使用SRM復制所有現有的主題和消息。與新集群進行交互。

匯總分析

SRM的聚合分析架構示例。

SRM可用于聚合可能來自多個數據中心的多個流傳輸管道中的數據，以運行批處理分析作業，從而提供整個企業的整體視圖。

圖1.分析匯總

上述就是小編為大家分享的SRM常見用例和架構有哪些了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。