go版本kafka的坑

sarama.StringEncoder 和sarama.ByteEncoder的區(qū)別

在推送kafka的sarama.ProducerMessage中,

m := &sarama.ProducerMessage{
            Topic: topic,
            Value: sarama.StringEncoder(buf),
        }

在Value選擇編碼方式時(shí),如果選擇ByteEncoder, 在后面的批量發(fā)送kafka k.producer.SendMessages(msgs) 的時(shí)候,會(huì)出現(xiàn)問(wèn)題,問(wèn)題就是發(fā)到kafka的數(shù)據(jù)每條數(shù)據(jù)都是一樣的。但是用單次發(fā)送k.producer.SendMessage(msg)是沒(méi)問(wèn)題的。
但是問(wèn)題是單次發(fā)送的效率太低了,最好使用批量發(fā)送的方式。這個(gè)時(shí)候就要選擇sarama.StringEncoder方式,不然太坑了,這個(gè)問(wèn)題讓我查了一天, 一直以為是go的append改變了發(fā)送數(shù)據(jù)的格式呢

https://github.com/Shopify/sarama/issues/1625

感悟:
遇到這種問(wèn)題,真得找到地方去查,比如我現(xiàn)在用到kafka的問(wèn)題,就應(yīng)該去github庫(kù)對(duì)應(yīng)的issue中查

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容