kafka消費(fèi)者分區(qū)分配策略

有兩種種策略,range strategy策略和roundRobin strategy策略,默認(rèn)是range strategy策略。
1.range strategy策略
先把主題里的分區(qū)按照序號排序,然后把消費(fèi)者按照字母排序,把分區(qū)的總數(shù)除以消費(fèi)者總數(shù)得到每個(gè)消費(fèi)者消費(fèi)的分區(qū)數(shù),如果除不斷就把分區(qū)分配給前面的消費(fèi)者。
排完序的分區(qū)將會是0, 1, 2, 3, 4, 5, 6, 7, 8, 9;消費(fèi)者線程排完序?qū)荂1-0, C2-0, C2-1。
C1-0 將消費(fèi) 0, 1, 2, 3 分區(qū)
C2-0 將消費(fèi) 4, 5, 6 分區(qū)
C2-1 將消費(fèi) 7, 8, 9 分區(qū)
2.roundRobin strategy策略
把主題和分區(qū)組成topicAndPartition列表,再把列表按照hashcode排序,輪詢分配給消費(fèi)者。
加入按照 hashCode 排序完的topic-partitions組依次為T1-5, T1-3, T1-0, T1-8, T1-2, T1-1, T1-4, T1-7, T1-6, T1-9,我們的消費(fèi)者線程排序?yàn)镃1-0, C1-1, C2-0, C2-1,最后分區(qū)分配的結(jié)果為:
C1-0 將消費(fèi) T1-5, T1-2, T1-6 分區(qū);
C1-1 將消費(fèi) T1-3, T1-1, T1-9 分區(qū);
C2-0 將消費(fèi) T1-0, T1-4 分區(qū);
C2-1 將消費(fèi) T1-8, T1-7 分區(qū);
只能通過partition.assignment.strategy參數(shù)選擇 range 或 roundrobin。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容