zookeeper在kafka中的作用

  1. 在Kakfa中扮演的角色
    Kafka將元數據信息保存在Zookeeper中,但是發(fā)送給Topic本身的數據是不會發(fā)到Zk上的,否則Zk就瘋了。kafka使用zookeeper來實現動態(tài)的集群擴展,不需要更改客戶端(producer和consumer)的配置。broker會在zookeeper注冊并保持相關的元數據(topic,partition信息等)更新。而客戶端會在zookeeper上注冊相關的watcher。一旦zookeeper發(fā)生變化,客戶端能及時感知并作出相應調整。這樣就保證了添加或去除broker時,各broker間仍能自動實現負載均衡。這里的客戶端指的是Kafka的消息生產端(Producer)和消息消費端(Consumer)Producer端使用zookeeper用來"發(fā)現"broker列表,以及和Topic下每個partition的leader建立socket連接并發(fā)送消息。也就是說每個Topic的partition是由Lead角色的Broker端使用zookeeper來注冊broker信息,以及監(jiān)測partition leader存活性.Consumer端使用zookeeper用來注冊consumer信息,其中包括consumer消費的partition列表等,同時也用來發(fā)現broker列表,并和partition leader建立socket連接,并獲取消息.

  2. zookeeper中信息

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • Kafka入門經典教程-Kafka-about云開發(fā) http://www.aboutyun.com/threa...
    葡萄喃喃囈語閱讀 10,980評論 4 54
  • 本文轉載自http://dataunion.org/?p=9307 背景介紹Kafka簡介Kafka是一種分布式的...
    Bottle丶Fish閱讀 5,581評論 0 34
  • kafka的定義:是一個分布式消息系統(tǒng),由LinkedIn使用Scala編寫,用作LinkedIn的活動流(Act...
    時待吾閱讀 5,537評論 1 15
  • 一、入門1、簡介Kafka is a distributed,partitioned,replicated com...
    HxLiang閱讀 3,666評論 0 9
  • 背景介紹 Kafka簡介 Kafka是一種分布式的,基于發(fā)布/訂閱的消息系統(tǒng)。主要設計目標如下: 以時間復雜度為O...
    高廣超閱讀 13,042評論 8 167

友情鏈接更多精彩內容