生產(chǎn)者客戶(hù)端:主線(xiàn)程和 Sender 線(xiàn)程
1、主線(xiàn)程:由 KafkaProducer 創(chuàng)建消息,通過(guò)攔截器、序列化器和分區(qū)器后緩存到消息累加器(RecordAccumulator,也稱(chēng)消息收集器)中。
2、Sender 線(xiàn)程:從 RecordAccumulator 中獲取消息,發(fā)送到 Kafka
概要:
一、攔截器:發(fā)送前準(zhǔn)備:過(guò)濾、修改消息,發(fā)送回調(diào)前:統(tǒng)計(jì)
二、序列化器:對(duì)象轉(zhuǎn)換成字節(jié)數(shù)組發(fā)送給 Kafka
三、分區(qū)器:根據(jù) key 計(jì)算 partition

一、攔截器
1、作用發(fā)送前準(zhǔn)備:過(guò)濾、修改消息,發(fā)送回調(diào)前:統(tǒng)計(jì)
2、實(shí)現(xiàn) org.apache.kafka.clients.producer. ProducerInterceptor 接口,包含3個(gè)方法:

2、何時(shí)KafkaProducer調(diào)攔截器:
? ??1)序列化和計(jì)算分區(qū)前調(diào)攔截器 onSend() 修改(一般不修改topic、key 和 partition等)
? ??2)消息被應(yīng)答前(Acknowledgement)或發(fā)送失敗時(shí)調(diào)攔截器onAcknowledgement() ,優(yōu)先于用戶(hù)設(shè)定Callback前執(zhí)行。
????????ps:運(yùn)行在 Producer I/O線(xiàn)程中,實(shí)現(xiàn)越簡(jiǎn)單越好,否則影響消息發(fā)送速度
? ??3)close() 關(guān)閉攔截器時(shí)清理
二、序列化器
1、作用:對(duì)象轉(zhuǎn)換成字節(jié)數(shù)組發(fā)送給 Kafka。消費(fèi)者用反序列化器轉(zhuǎn)成對(duì)象(對(duì)應(yīng)序列化器)
2、實(shí)現(xiàn)org.apache.kafka.common.serialization.Serializer 接口,3個(gè)方法:配置、序列化、關(guān)閉
configure():創(chuàng)建 KafkaProducer 實(shí)例時(shí)調(diào),確定編碼類(lèi)型。
serialize:編解碼,如幾種序列化器都無(wú)法滿(mǎn)足,可用 Avro、JSON、Thrift、ProtoBuf 和 Protostuff 等通用序列化工具或自定義

三、分區(qū)器
1、作用:根據(jù) key 計(jì)算 partition。如果=指定partition 字段,不需分區(qū)器
2、實(shí)現(xiàn):默認(rèn)分區(qū)器是 org.apache.kafka.clients.producer.internals.DefaultPartitioner,實(shí)現(xiàn) org.apache.kafka.clients.producer.Partitioner 接口,2個(gè)方法

3、partition() :哈希計(jì)算分區(qū)號(hào),參數(shù):主題、鍵、序列化后鍵、值、序列化后值,集群元數(shù)據(jù)。默認(rèn)分區(qū)器 DefaultPartitioner 中,key? null,輪詢(xún)發(fā)往各個(gè)分區(qū)
4、close() :關(guān)閉分區(qū)器回收資源,空方法(默認(rèn)分區(qū)器中)。
5、自定義分區(qū)器,實(shí)現(xiàn)某系列key都發(fā)到同一分區(qū) 有序消費(fèi),實(shí)現(xiàn)Partitioner 接口。
https://mp.weixin.qq.com/s/C6dfvzFkNDYgiNeZ4eWPBQ