中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

jstorm干貨

發布時間:2020-07-18 15:03:58 來源:網絡 閱讀:397 作者:aklaus 欄目:系統運維

工作需要接觸到jstorm JStorm集群包含兩類節點:主控節點(Nimbus)和工作節點(Suprvisor)

  1. 主控節點(Nimbus)上運行Nimbus Daemon。Nimbus負責接收Client提交的Topology,分發代碼,分配任務給工作節點,監控集群中運行任務的狀態等工作。Nimbus作用類似于Hadoop中JobTracker。
  2. 工作節點(Supervior)上運行Supervisor D。Supervior通過subscribe Zookeeper相關數據監聽Nimbus分配過來任務,據此啟動或停止Worker工作進程。每個Worker工作進程執行一個Topology任務的子集;單個Topology的任務由分布在多個工作節點上的Worker工作進程協同處理。
    https://blog.csdn.net/wwwxxdddx/article/details/49978311
    Nimbus和Supervisor節點之間的協調工作通過Zookeeper實現。此外,Nimbus和Supervisor本身均為無狀態進程,支持Fail Fast;JStorm集群節點的狀態信息或存儲在Zookeeper,或持久化到本地,這意味著即使Nimbus/Supervisor宕機,重啟后即可繼續工作。這個設計使得JStorm集群具有非常好的穩定性

先了解他是干什么的
分布式實時計算引擎,就是你給他數據,按照你編寫的規則,他處理完
標準解釋:用戶按照規定的變成規范實現一個任務,將任務放到jstorm上,jstorm就將任務7*24小時調度起來
優點:開發非常迅速,容易上手,就像有水龍頭 -》污水池處理 --》下游
擴展性極好,一個worker壞了調度器nimbus會馬上分配另外一個
準確性比較高,采用了acker機制,保證數據不丟失,
使用場景:日志分析,管道系統,消息轉化,統計分析
這幾個術語要知道
角色 作用
Nimbus 調度器 分配任務的
Supervisor Worker的代理角色,負責Kill掉Worker和運行Worker 污水池處理的
Worker Task的容器 工人
Task 任務的執行者 工人
ZooKeeper 系統的協調者 系統協調者
stream 流 流是一個無間斷的連續的tuple元值,
spout 原始元祖的源頭,就像是水龍頭,這個可能是消息中間件如MQ,Kafka,TBNofity 不間斷發出消息
有了源頭,有了tuple,拿著這些數據的處理過程就是Bolt
Bolt 消費任意數量的輸入流,污水池 ,
jstorm干貨
你的spout打開了,想得到那種類型的水就打開那種類型的Bolt,處理完就會再進行下一步處理或者流向別的容器
Tuple value list 值列表
Topology 有向無環圖即拓撲,一個拓撲就是一個數據流轉圖,途中標注每一個節點是一個spout還是bolt,把元祖數據發送到那個bolt,
worker和task
worker表示一個進程,tash表示一個線程,一個進程對應多個線程,
Supervisor是JStorm中的工作節點,類似于MR的TT,subscribe zookeeper的任務調度結果數據,根據任務調度情況啟動/停止工作進程Worker。同時Supervisor需要定期向zookeeper寫入活躍端口信息以便Nimbus監控。Supervisor不執行具體處理工作,所有的計算任務都交Worker完成。從整個架構上看,Supervisor處在整個JStorm三級管理架構的中間環節,輔助管理任務調度和資源管理工作。
Supervisor單節點架構如上圖所示,初始化時啟動進程Supervisor,根據Nimbus分配的任務情況觸發啟動/停用Worker JVM進程,其中每個Worker進程啟動一個或多個Task線程,其中Task須同屬單個Topology。從整個Supervisor節點來看運行多個JVM進程,包括一個Supervisor進程和一個或多個Worker進程。
不同角色狀態通過不同的方式維護。其中Task通過hb直接將包括時間信息和當前Task的統計信息寫到zookeeper;Worker定期將包括Topology id,端口,Task id集合及當前時間寫入本地;Supervisor定期將包括時間及節點資源(端口集合)寫到zookeeper,同時從zookeeper讀取任務調度結果,根據結果啟動/停用Worker進程。jstorm干貨
jstorm干貨

記住這個圖片基本上沒什么打的困難了入門了就,

了解這個也得知道一個流的概念,就是水龍頭 -》污水池處理 --》下游

這個鏈接比較形象https://www.cnblogs.com/smartloli/p/4810362.html

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

濮阳市| 会泽县| 长乐市| 莫力| 肥西县| 宁乡县| 乐安县| 横峰县| 固镇县| 阜新| 兴宁市| 滨州市| 山西省| 内江市| 四子王旗| 西贡区| 罗田县| 江津市| 根河市| 新密市| 延边| 伊金霍洛旗| 广元市| 衡水市| 余姚市| 江永县| 陆川县| 前郭尔| 塘沽区| 福建省| 许昌市| 内黄县| 长顺县| 淮滨县| 宜阳县| 蚌埠市| 梁河县| 宁德市| 孟村| 舟曲县| 花莲市|