深入淺出kafka-broker相關(guān)原理

1 、 broker管理之leo hw 含義 41}

leo : log and offset 每partion 收到1條消息都更新自己的 offset

leo = offset +1

Hw :高水位 LEO 功能是更新hw ,如果follower和leader的 leo 同步了hw就可以更新
hw 之前的消息對(duì)消費(fèi)者可見(jiàn),是commit的

2、 leo更新 42}

follwer 帶上自己的leo 去拉副本,更新leader的leo記錄

3、 hw 更新 43}

leader: hw 取leo 最小值
follower: 自己leo 和 leader 的leo的最小值

4、controller 管理集群 44}

競(jìng)爭(zhēng)在zk上創(chuàng)建目錄,最先成功的是controller
通過(guò)監(jiān)聽(tīng)zk的 很多目錄,讀取集群元數(shù)據(jù),分發(fā)給其他broker

zk目錄:
/broker/ids/0,1,2 感知上下線
/broker/topics 創(chuàng)建主題
/admin/reassign_partitions 分區(qū)重新分配

5、 延時(shí)任務(wù) 45}

image.png

6、時(shí)間輪 46} 0:10

image.png
image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容