Kafka通訊協議是怎么樣的

小編給大家分享一下Kafka通訊協議是怎么樣的，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Kafka的Producer、Broker和Consumer之間采用的是一套自行設計的基于TCP層的協議。Kafka的這套協議完全是為了Kafka自身的業務需求而定制的，而非要實現一套類似于Protocol Buffer的通用協議。

基本數據類型

1. 定長數據類型：int8,int16,int32和int64，對應到Java中就是byte, short, int和long。

2. 變長數據類型：bytes和string。變長的數據類型由兩部分組成，分別是一個有符號整數N(表示內容的長度)和N個字節的內容。其中，N為-1表示內容為null。bytes的長度由int32表示，string的長度由int16表示。

3. 數組：數組由兩部分組成，分別是一個由int32類型的數字表示的數組長度N和N個元素。

Request和Response的基本結構

Kafka中兩個角色之間通訊的基本單位是Request/Response，Request和Response的基本結構如下：

RequestOrResponse => MessageSize (RequestMessage | ResponseMessage)

其中各字段的含義為：

這個結構定義了通訊雙方交換數據的基本結構。通訊的過程可以簡單地表示為：客戶端打開與服務器端的Socket，然后往Socket寫入一個int32的數字表示這次發送的Request有多少字節，然后繼續往Socket中寫入對應字節數的數據。服務器端先讀出一個int32的整數從而獲取這次Request的大小，然后讀取對應字節數的數據從而得到Request的具體內容。服務器端處理了請求后，也用同樣的方式來發送響應。

RequestMessage的結構

RequestMessage的結構如下：

RequestMessage => ApiKey ApiVersion CorrelationId ClientId Request

ResponseMessage的結構

ResponseMessage的結構如下：

ResponseMessage => CorrelationId Response

Message

Kafka是一個分布式消息系統，Producer生產消息并推送(Push)給Broker，然后Consumer再從Broker那里取走(Pull)消息。Producer生產的消息就是由Message來表示的，對用戶來講，它就是鍵-值對，來看看它的結構。

Message => Crc MagicByte Attributes Key Value

MessageSet

MessageSet用來組合多條Message，它在每條Message的基礎上加上了Offset和MessageSize，其結構是：

MessageSet => [Offset MessageSize Message]

它的含義是MessageSet是個數組，數組的每個元素由三部分組成，分別是Offset，MessageSize和Message，它們的含義分別是：

Message的壓縮

Kafka支持下面幾種壓縮方式，

其中編碼就是Message的Attribute的最低兩位的值。

因為單條消息中重復內容可能不多，所以通常把多條消息放在一起組成MessageSet，然后再把MessageSet放到一條Message里面去，從而提高壓縮比率。

Request/Respone和Message/MessageSet的關系

• Request/Response是通訊層的結構，和網絡的7層模型對比的話，它類似于TCP層。

• Message/MessageSet定義的是業務層的結構，類似于網絡7層模型中的HTTP層。Message/MessageSet只是Request/Response的payload中的一種數據結構。

以上是“Kafka通訊協議是怎么樣的”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！