中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Fabric Kafka入門

發布時間:2020-07-04 01:01:21 來源:網絡 閱讀:159 作者:小智123 欄目:大數據

Hyperledger Fabric推薦Kafa用于生產環境。Kafa是一個分布式、具有水平伸縮能力、崩潰容錯能力的日志系統。在Hyperledger Fabric區塊鏈中可以有多個Kafka節點,使用zookeeper進行同步管理。本文將介紹Kfaka的基本工作原理,以及在HyperledgerFabric中使用Kafka和zookeeper實現共識的原理,并通過一個實例剖析Hyperledger Farbic中Kafka共識的達成過程。

如果希望快速掌握Fabric區塊鏈的鏈碼及應用開發,建議訪問匯智網的在線互動課程:

  • Fabric區塊鏈Java開發詳解
  • Fabric區塊鏈NodeJs開發詳解

一、Kafka工作原理

Kafka本質上是一個消息處理系統,它使用的是經典的發布-訂閱模型。消息的消費者訂閱特定的主題,以便收到新消息的通知,生產者則負責消息的發布。

Fabric Kafka入門

當主題的數據規模變得越來越大時,可以拆分為多個分區,Kafka保障在一個分區內的消息是按順序排列的。

Kafka并不跟蹤消費者讀取了哪些消息,也不會自動刪除已經讀取的消息。Kafka會保存消息一段時間,例如一天,或者直到數據規模超過一定的閾值。消費者需要輪詢新的消息,這是的他們可以根據自己的需求來定位消息,因此可以重放或重新處理事件。消費者處于不同的消費者分組,對應一個或多個消費者進程。每個分區被分貝給單一的消費者進程,因此同樣的消息不會被多次讀取。

崩潰容錯機制是通過在多個Kafka代理之間復制分區來實現的。因此如果一個代理由于軟件或硬件故障掛掉,數據也不會丟失。當然接下來還需要一個領導-跟隨機制,領導者持有分區,跟隨者則進行分區的復制。當領導者掛掉后,會有某個跟隨者轉變為新的領導者。

如果一個消費者訂閱了某個主體,那么它怎么知道從哪個分區領導者來讀取訂閱的消息?

答案在于zookeeper服務。

zookeeper是一個分布式key-value存儲庫,通常用于存儲元數據及集群機制的實現。zookeeper允許服務(Kafka代理)的客戶端訂閱變化并獲得實時通知。這就是代理如何確定應當使用哪個分區領導者的原因。zookeeper有超強的故障容錯能力,因此Kafka的運行嚴重依賴于它。

在zookeeper中存儲的元數據包括:

  • 消費者分組在每個分區的讀取偏移量
  • 訪問控制清單,用于訪問授權與限制
  • 生產者及消費者配額,每秒最多消息數量
  • 分區領導者及健康信息

二、Hyperledger Fabric中的Kafka

要理解在超級賬本Hyperledger Fabric中的Kafka是如何工作的,首先需要理解幾個重要的術語:

  • Chain - 指的是一組客戶端(通道/channel)可以訪問的日志
  • Channel - 一個通道類似于一個主題,授權的對等節點(peer)可以訂閱并且成為通道的成員。 只有通道的成員可以在通道上交易,一個通道中的交易在其他通道中看不到。
  • OSN - 即排序服務節點(Ordering Service Node),在Fabric中被稱為排序節點。排序節點負責:
    • 進行客戶鑒權
    • 允許客戶端通過一個簡單的接口寫入或讀取通道
    • 執行配置交易的過濾與驗證,實現通道的重新配置或創建新的通道
  • RPC - 即遠程過程調用(Remote Procedure Call),是一種用于調用其他機器上的服務而無需了解 通信與實現細節的通信協議,目的是像調用本地函數一樣調用網絡中其他機器上的函數
  • 廣播PRC - 交易提交調用,由排序節點執行
  • 分發RPC - 交易分發請求,當交易由kafka代理處理后,分發給請求節點

注意,雖然在Hyperledger Fabric中Kafka被稱為共識(Consensus),但是其核心是交易排序服務以及額外的崩潰容錯能力。

在Hyperledger Fabric中的Kafka實際運行邏輯如下:

  • 對于每一條鏈,都有一個對應的分區
  • 每個鏈對應一個單一的分區主題
  • 排序節點負責將來自特定鏈的交易(通過廣播RPC接收)中繼到對應的分區
  • 排序節點可以讀取分區并獲得在所有排序節點間達成一致的排序交易列表
  • 一個鏈中的交易是定時分批處理的,也就是說當一個新的批次的第一個交易進來時,開始計時
  • 當交易達到最大數量時或超時后進行批次切分,生成新的區塊
  • 定時交易是另一個交易,由上面描述的定時器生成
  • 每個排序節點為每個鏈維護一個本地日志,生成的區塊保存在本地賬本中
  • 交易區塊通過分發RPC返回客戶端
  • 當發生崩潰時,可以利用不同的排序節點分發區塊,因為所有的排序節點都維護有本地日志

Fabric Kafka入門

三、Hyperledger Fabric Kafka實例解析

考慮下圖,假設排序節點OSN0和OSN2時連接到廣播客戶端,OSN1連接到分發客戶端。

Fabric Kafka入門

  • OSN0已經有了交易foo,中繼到kafka集群
  • 此時OSN2將交易baz廣播到集群中
  • 最后,交易bar由OSN0發送到集群中
  • 集群現在有三個交易,可以在圖中看到三個交易的在日志中的位置偏移量
  • 客戶端發送分發請求,在OSN1的本地日志中,上述三個交易在4#區塊里。
  • 因此OSN1將4#區塊返回客戶端,處理結束

Kakfa的高性能對于Hyperledger Fabric有很大的幫助,多個排序節點通過Kafka實現同步,而Kafka本身并不是排序節點,它只是將排序節點通過流連接起來。雖然Kafka支持崩潰容錯,它并不能提供對網絡中惡意***的保護。需要一種拜占庭容錯方案(BFT)才可以對抗惡意的***,但是目前在Farbic框架中還有待實現這一機制。

總而言之,在Hyperledger Farbic中,Kafka共識模塊是可以用于生產環境的,它可以支持崩潰容錯,但無法對抗惡意***。


原文:The ABCs of Kafka in Hyperledger Fabric

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

密山市| 重庆市| 惠来县| 亳州市| 湖口县| 马尔康县| 三江| 思茅市| 余江县| 石家庄市| 海兴县| 马关县| 汕头市| 健康| 宿州市| 彩票| 凤阳县| 团风县| 滁州市| 遵义县| 图片| 昌图县| 名山县| 富平县| 屏东市| 宣武区| 塔河县| 黎城县| 新晃| 龙川县| 阿坝县| 鄱阳县| 新津县| 屯留县| 平谷区| 和政县| 安顺市| 保康县| 扶余县| 潜江市| 榆树市|