kafka在python中的運(yùn)行機(jī)制

第一次了解kafka不是很深入,后期會繼續(xù)補(bǔ)更,完善~

kafaka工作原理:生產(chǎn)者生產(chǎn)消息-->消費(fèi)者接收消息后消費(fèi)

1. 消費(fèi)者工作原理

連接kafka

先設(shè)置消費(fèi)組id,并制定消費(fèi)哪個(gè)topic:

# trans

? ? trans_cons = Consumer(

? ? ? ? {**sys_conf.get_kafka_config(consumer_id=f'{func_mark}trans')}

? ? )

? ? trans_cons.subscribe(trans_topics)

消費(fèi)對應(yīng)topic的消息:

msgs = cons.consume(sys_conf.CONSUMER_BZ, sys_conf.CONSUMER_TIMEOUT)

因?yàn)閙sgs里面有很多個(gè)消息,需要將消息一個(gè)個(gè)解讀出來然后計(jì)算處理,最后輸入到數(shù)據(jù)庫或者將結(jié)果塞進(jìn)生產(chǎn)者中推到kafka等對方進(jìn)行消費(fèi)。

將msg解析:

for msg in msgs:

? ? print(msg.value())

如需轉(zhuǎn)發(fā)請加載連接http://www.itdecent.cn/p/6e00abd7780a

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一、入門1、簡介Kafka is a distributed,partitioned,replicated com...
    HxLiang閱讀 3,682評論 0 9
  • 什么是消息系統(tǒng)? 早期兩個(gè)應(yīng)用程序間進(jìn)行消息傳遞需要保證兩個(gè)應(yīng)用程序同時(shí)在線,并且耦合度很高。為了解決應(yīng)用程序不在...
    Java小鋪閱讀 1,286評論 0 2
  • 一、Springboot與Spring-kafka版本關(guān)系二、概念知識三、SpringBoot 操作 Kafka ...
    IT菜鳥學(xué)習(xí)閱讀 35,318評論 1 8
  • 撤銷流程中不必要的環(huán)節(jié),減少成本的浪費(fèi)。復(fù)雜的事情簡單化,簡單能讓人快速了解,讓工作更有效率,方法有個(gè)有很多種,能...
    臺一DDM路靜娟閱讀 356評論 2 0
  • .自從二零一二年以來、一直有一件事困繞著我,壓著我喘不過氣來。我好想把它公開于世上,又怕引來怒罵與嘲笑.內(nèi)心一直劇...
    陸詩婷閱讀 835評論 2 2

友情鏈接更多精彩內(nèi)容