業(yè)務(wù)場景：
接受或者生成日志給kafka隊(duì)列 消費(fèi)者同步入庫
公司最近業(yè)務(wù)日志比較多 于是設(shè)計(jì)通過MQ傳輸消費(fèi)
設(shè)計(jì)的自作多情的時(shí)候?yàn)榱藴p少通信 會把日志歸并（使用阻塞隊(duì)列匯集達(dá)到100+再發(fā)送出去）結(jié)果就是出現(xiàn)大規(guī)模的消息堆積在kafka里面
解決：
前面既然說了是自作多情，問題也就在這。大消息發(fā)送沒問題，但是在消費(fèi)的時(shí)候出現(xiàn)了問題。業(yè)務(wù)日志顯示在頻繁的拉取同一條消息，重復(fù)的消費(fèi)。
原因：消費(fèi)超時(shí)。kafka一次性拉取近500條消息。60秒內(nèi)消費(fèi)不完就會超時(shí)。導(dǎo)致消費(fèi)不成功。也就有了后面的重復(fù)消費(fèi)。
這一類業(yè)務(wù)的正確處理是這樣的，直接單條記錄單條消息發(fā)送，kafka自己會做消息的歸并達(dá)到一定的量才會發(fā)送。消費(fèi)也是如此。