sarama.StringEncoder 和sarama.ByteEncoder的區(qū)別
在推送kafka的sarama.ProducerMessage中,
m := &sarama.ProducerMessage{
Topic: topic,
Value: sarama.StringEncoder(buf),
}
在Value選擇編碼方式時(shí),如果選擇ByteEncoder, 在后面的批量發(fā)送kafka k.producer.SendMessages(msgs) 的時(shí)候,會(huì)出現(xiàn)問(wèn)題,問(wèn)題就是發(fā)到kafka的數(shù)據(jù)每條數(shù)據(jù)都是一樣的。但是用單次發(fā)送k.producer.SendMessage(msg)是沒(méi)問(wèn)題的。
但是問(wèn)題是單次發(fā)送的效率太低了,最好使用批量發(fā)送的方式。這個(gè)時(shí)候就要選擇sarama.StringEncoder方式,不然太坑了,這個(gè)問(wèn)題讓我查了一天, 一直以為是go的append改變了發(fā)送數(shù)據(jù)的格式呢
https://github.com/Shopify/sarama/issues/1625
感悟:
遇到這種問(wèn)題,真得找到地方去查,比如我現(xiàn)在用到kafka的問(wèn)題,就應(yīng)該去github庫(kù)對(duì)應(yīng)的issue中查