(9)攔截器、序列化器、分區(qū)器處理順序

生產(chǎn)者客戶(hù)端:主線(xiàn)程和 Sender 線(xiàn)程

1、主線(xiàn)程:由 KafkaProducer 創(chuàng)建消息,通過(guò)攔截器、序列化器和分區(qū)器緩存到消息累加器(RecordAccumulator,也稱(chēng)消息收集器)中。

2、Sender 線(xiàn)程:從 RecordAccumulator 中獲取消息,發(fā)送到 Kafka

概要:

一、攔截器:發(fā)送前準(zhǔn)備:過(guò)濾、修改消息,發(fā)送回調(diào)前:統(tǒng)計(jì)

二、序列化器:對(duì)象轉(zhuǎn)換成字節(jié)數(shù)組發(fā)送給 Kafka

三、分區(qū)器:根據(jù) key 計(jì)算 partition

一、攔截器

1、作用發(fā)送前準(zhǔn)備:過(guò)濾、修改消息,發(fā)送回調(diào)前:統(tǒng)計(jì)

2、實(shí)現(xiàn) org.apache.kafka.clients.producer. ProducerInterceptor 接口,包含3個(gè)方法:

2、何時(shí)KafkaProducer調(diào)攔截器:

? ??1)序列化計(jì)算分區(qū)前調(diào)攔截器 onSend() 修改(一般不修改topic、key 和 partition等)

? ??2)消息被應(yīng)答前(Acknowledgement)或發(fā)送失敗時(shí)調(diào)攔截器onAcknowledgement() ,優(yōu)先于用戶(hù)設(shè)定Callback前執(zhí)行。

????????ps:運(yùn)行在 Producer I/O線(xiàn)程中,實(shí)現(xiàn)越簡(jiǎn)單越好,否則影響消息發(fā)送速度

? ??3)close() 關(guān)閉攔截器時(shí)清理

二、序列化器

1、作用:對(duì)象轉(zhuǎn)換成字節(jié)數(shù)組發(fā)送給 Kafka。消費(fèi)者反序列化器轉(zhuǎn)成對(duì)象(對(duì)應(yīng)序列化器)

2、實(shí)現(xiàn)org.apache.kafka.common.serialization.Serializer 接口,3個(gè)方法:配置、序列化、關(guān)閉

configure():創(chuàng)建 KafkaProducer 實(shí)例時(shí)調(diào),確定編碼類(lèi)型

serialize:編解碼,如幾種序列化器都無(wú)法滿(mǎn)足,可用 Avro、JSON、Thrift、ProtoBuf 和 Protostuff 等通用序列化工具或自定義

三、分區(qū)器

1、作用:根據(jù) key 計(jì)算 partition。如果=指定partition 字段,不需分區(qū)器

2、實(shí)現(xiàn):默認(rèn)分區(qū)器是 org.apache.kafka.clients.producer.internals.DefaultPartitioner,實(shí)現(xiàn) org.apache.kafka.clients.producer.Partitioner 接口,2個(gè)方法

3、partition() :哈希計(jì)算分區(qū)號(hào),參數(shù):主題、鍵、序列化后鍵、值、序列化后值,集群元數(shù)據(jù)。默認(rèn)分區(qū)器 DefaultPartitioner 中,key? null,輪詢(xún)發(fā)往各個(gè)分區(qū)

4、close() :關(guān)閉分區(qū)器回收資源,空方法(默認(rèn)分區(qū)器中)。

5、自定義分區(qū)器,實(shí)現(xiàn)某系列key都發(fā)到同一分區(qū) 有序消費(fèi),實(shí)現(xiàn)Partitioner 接口。

https://mp.weixin.qq.com/s/C6dfvzFkNDYgiNeZ4eWPBQ

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容