如何離線分析Kafka海量業務消息？1分鐘快速為您支招

場景介紹

說起Kafka，許多使用者對它是又愛又恨。Kafka是一種分布式的、基于發布/訂閱的消息系統，其極致體驗讓人欲罷不能，但操心的運維、復雜的安全策略、可靠性易用性的缺失等，仍需要使用者付出諸多的背后工作。即使你是Kafka老手，也難免會有上述同樣的煩惱。

與其整日操心Kafka的部署，不如試試云上Kafka帶給你的驚喜？目前國內主流的云服務廠商均提供了云上的Kafka服務，為應用系統提供異步的消息隊列服務。通過高可用的消息緩沖隊列，實現應用解耦、突發流量處理及與第三方的互通和集成，具有大規模、高可靠、高并發訪問、可擴展且完全托管的特點。比如華為云分布式消息服務DMS，幫助云端的應用程序組件去耦合，具有很高的成本效益。DMS擁抱開源，提供支持兼容開源Kafka接口，用戶可無縫遷移，按需使用。

分布式消息服務（Data Message Service，簡稱DMS）Kafka專享版支持采集增量的交易消息數據并上傳到華為云對象存儲服務（Object Storage Service，簡稱OBS），通過實時流計算框架（例如Flick）或者華為云實時流計算服務（Cloud Stream Service, 簡稱CS）分析上傳的交易數據，能夠分析出最近交易指標等信息，以支持用戶交易做決策。

申請環境與資源

1.開啟轉儲

▲在更多列中點擊開啟轉儲即可開啟消息轉儲功能

2.創建轉儲任務

等待開啟轉儲任務完成后，即可以添加轉儲任務進行轉儲，點擊實例鏈接進入實例管理里有轉儲管理頁簽，通過點擊創建轉儲任務即可創建消息轉儲任務進行消息的轉儲，如下：

點擊后，會彈出創建轉儲任務的詳情：

需要填入打星號的必填參數。這里主要關注要填入的參數Topics，即需要轉儲的Topic名稱，支持多個Topic的輸入或者正則表示的方式去訂閱Topic消息，并把消息內容上傳到OBS桶中。點擊轉儲地址行中的選擇按鈕，彈出選擇數據轉儲地址，會列出那些OBS桶可以被轉儲。

需要一提的是，如果沒有OBS桶，則需要創建一個OBS桶用來存放DIS轉儲的數據。

3.查看轉儲任務

創建轉儲任務后，可以在轉儲管理頁中看到這個任務信息，點擊查看轉儲信息，可以實時查看轉儲Topic的消息轉儲進度。

查看OBS信息與分析數據

登錄華為云OBS可以查看到轉儲地址桶的中存在分區的文件，已經按照轉儲時設定的時間格式上傳到dms-obs桶中。

可以使用Flink等實時數據對上傳目錄的文件內容進行分析，得到分析后匯總結果展示即可。