中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

kafka broker Leader -1引起spark Streaming不能消費 已解決

發布時間:2020-08-05 18:38:19 來源:網絡 閱讀:1078 作者:Stitch_x 欄目:大數據

一、問題描述:

Kafka生產集群中有一臺機器cdh-003由于物理故障原因掛掉了,并且系統起不來了,使得線上的spark Streaming實時任務不能正常消費,重啟實時任務都不行。查看kafka topic狀態,發現broker Leader出現-1的情況,如下圖
kafka broker Leader -1引起spark Streaming不能消費  已解決

二、問題分析

Kafka Broker Leader 為-1,表示有partition在選舉Leader的時候失敗了,因此引起了消費該Topic的實時任務都出現了異常,經過排除發現掛掉的cdh-003機器正好是broker id為257。(但為何192沒有被選舉為leader呢??)

?

三、解決方法:修改kafka元數據,手動指定kakfa Leader。

kafka partition狀態信息存在Zookeeper上,我的環境目錄是 /kafka/brokers/topics/,具體操作如下:

1、查看leader為-1的partition狀態

[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":-1,"version":1,"leader_epoch":96,"isr":[257]}

2、強制修改partition leader為192

[zk: localhost:2181(CONNECTED) 3] set /kafka/brokers/topics/mds001/partitions/1/state {"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

3、查看修改是否成功

[zk: localhost:2181(CONNECTED) 4] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

[zk: localhost:2181(CONNECTED) 5]
kafka broker Leader -1引起spark Streaming不能消費  已解決

4、重啟Kafka服務 (必須重啟,我最開始就是沒有重啟,使得SS消費依然不正常)

5、重啟Spark Streaming實時任務,此時消費正常,則完美解決

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

商都县| 罗江县| 扬州市| 攀枝花市| 米林县| 金秀| 淳化县| 济南市| 巴彦淖尔市| 忻州市| 房山区| 武胜县| 宁夏| 廉江市| 奈曼旗| 奉节县| 花莲县| 紫云| 荣昌县| 日土县| 天津市| 邵东县| 前郭尔| 桃园县| 苏尼特左旗| 泰兴市| 乌拉特后旗| 潜江市| 连平县| 平舆县| 东丰县| 临西县| 仁怀市| 湖州市| 彰化县| 来宾市| 阿拉善左旗| 车致| 南澳县| 绍兴市| 蒙山县|