先看下kafka的整體

黑色箭頭的通信采用的是TCP協(xié)議.

kafka

Topic

kafka允許我們把一類消息歸類在一起, 這就是Topic, kafka還對(duì)每個(gè)Topic進(jìn)行了分區(qū). 如下就是三個(gè)分區(qū). 012345678這些叫做offset, 是partition(分區(qū))用來記錄每個(gè)offset所對(duì)應(yīng)的消息的. 如圖, 在分區(qū)中, 消息是有序的.

topic剖析

生產(chǎn)者

生產(chǎn)者發(fā)布消息

1. 發(fā)給Topic, 在Topic內(nèi)部采用復(fù)雜均衡的模式將消息分發(fā)給各個(gè)分區(qū).
2. 發(fā)給Topic, 并且指定發(fā)送給哪個(gè)分區(qū).

消費(fèi)者

消費(fèi)者所需要維護(hù)的數(shù)據(jù), 只有其所消費(fèi)的那個(gè)分區(qū)的offset. 按offset讀取數(shù)據(jù)的時(shí)候, 一般來說都是按照順序讀取的, 但是消費(fèi)者也可以指定offset的值, 即使這個(gè)數(shù)據(jù)已經(jīng)被讀取過了, 只要這個(gè)分區(qū)消息還在有效期中, 都可以被讀到.

隊(duì)列模式和發(fā)布/訂閱模式

1. 隊(duì)列模式: 一組消費(fèi)者消費(fèi)一個(gè)Topic的消息, 每個(gè)消息只會(huì)被一個(gè)消費(fèi)者給消費(fèi)掉.
2. 發(fā)布/訂閱模式: 同一條消息會(huì)同時(shí)被多組消費(fèi)者消費(fèi). 每組內(nèi)可能會(huì)有一個(gè)或多個(gè)消費(fèi)者, 在組內(nèi)其實(shí)可以看做"隊(duì)列模式", 進(jìn)入組內(nèi)的一條只會(huì)被一個(gè)消費(fèi)者消費(fèi). 這里需要注意的是, 訂閱的是組而不是個(gè)體消費(fèi)者.

集群和消費(fèi)者

有序性

• 以分區(qū)順序: 上面有說道, 每個(gè)分區(qū)內(nèi)部的消息是有順序的. 如果只有一個(gè)/組消費(fèi)這個(gè)分區(qū), 那么這個(gè)/組的消費(fèi)者消費(fèi)的消息就是順序的. 這種相對(duì)下面的方式提高了并發(fā)量的上限, 但是不能保證Topic是順序的.
• 以Topic順序: 那么就讓這個(gè)Topic只有一個(gè)分區(qū), 并且只有一個(gè)(組)消費(fèi)者去消費(fèi)他. 但是隨之而來的問題就是并發(fā)性能上限不高的問題.

集群

zookeeper

leader和follower

pull模式?

重復(fù)消費(fèi)問題