Kafka新版本API特性

在kafka中,新版本api主要是針對java版本的producer和consumer。

Producer
新版本的Producer,相對于舊版本而言,在設(shè)計(jì)理念上具有以下優(yōu)勢:

  • 發(fā)送過程被劃分到兩個(gè)不同的線程:用戶主線程和Sender I/O線程,邏輯更加容易把控。
  • 完全異步發(fā)送消息,并提供回掉機(jī)制(callback)用于判斷發(fā)送成功與否。
  • 分批機(jī)制(batching),每個(gè)批次中包括多個(gè)發(fā)送請求,提升整體吞吐量。
  • 更加合理的分區(qū)策略:對于沒有指定key的消息而言,舊版本Producer分區(qū)策略是默認(rèn)在一段時(shí)間內(nèi)將消息發(fā)送到固定的分區(qū),這容易造成數(shù)據(jù)傾斜(skewed);新版本采用輪詢方式,消息發(fā)送將更加均勻。
  • 底層統(tǒng)一使用基于Java的Selector的網(wǎng)絡(luò)客戶端,結(jié)合Java的Future實(shí)現(xiàn)更加健壯和優(yōu)雅的生命周期管理。

Consumer
新版本的Consumer,相對于舊版本而言,在設(shè)計(jì)上的突出優(yōu)勢如下:

  • 單線程設(shè)計(jì)——單個(gè)consumer線程可以管理多個(gè)分區(qū)的消費(fèi)Socket連接,極大地簡化了視線。雖然在0.10.1.0版本中額外引入了一個(gè)后臺(tái)心跳線程(background hearbeat thread),不過雙線程的設(shè)計(jì)依然比舊版本consumer魚龍混雜的多線程設(shè)計(jì)簡單得多。
  • 位移提交和保存交由Kafka來處理——位移不再保存到zookeeper中,而是單獨(dú)保存在Kafka的一個(gè)內(nèi)部的topic中,這種設(shè)計(jì)即避免了Zookeeper的頻繁讀/寫的性能瓶頸,同時(shí)在Kafka的內(nèi)部的備份機(jī)制天然地視線了位移的高可用管理。
  • 消費(fèi)者組的集中式管理——上面提到了Zookeeper要管理位移,其實(shí)它還負(fù)責(zé)管理整個(gè)消費(fèi)者組(consumer group)的成員。者進(jìn)一步加重了對于zookeeper的依賴。新版本consumer改進(jìn)了這種設(shè)計(jì),實(shí)現(xiàn)了一個(gè)集中式協(xié)調(diào)者(corrdinator)的角色。所有組成員的管理都交由該coordinator負(fù)責(zé),因此對于group的管理將更加可控。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 大致可以通過上述情況進(jìn)行排除 1.kafka服務(wù)器問題 查看日志是否有報(bào)錯(cuò),網(wǎng)絡(luò)訪問問題等。 2. kafka p...
    生活的探路者閱讀 7,743評論 0 10
  • 一、入門1、簡介Kafka is a distributed,partitioned,replicated com...
    HxLiang閱讀 3,687評論 0 9
  • 我們美學(xué)老師說過,每個(gè)人生來都是帶著一個(gè)使命的,像一個(gè)顆顆的種子,被風(fēng)偶然的吹落人間。 我好奇,如果這種使命是與生...
    青果吧閱讀 530評論 0 1
  • 昨天晚上沛沛玩游戲到了10點(diǎn)多鐘,我先睡了,沛沛主動(dòng)說,我把燈調(diào)暗一點(diǎn)。 過了一會(huì)兒,爸爸也洗完睡覺了,我看沛沛還...
    梁琰閱讀 69評論 0 0
  • 3《孫子兵法》里的投資戰(zhàn)略 前幾日聽得到專欄“張瀟雨的經(jīng)典案例課”,講美團(tuán)的創(chuàng)始人王興的時(shí)候,提到王興打贏的幾次漂...
    姜一得閱讀 738評論 0 3

友情鏈接更多精彩內(nèi)容