一、zookeeper存儲結(jié)構(gòu)總圖
當(dāng)我們kafka啟動運行以后，就會在zookeeper上初始化kafka相關(guān)數(shù)據(jù)，主要包括六大類：
- consumers
- admin
- config
- controller
- brokers
- controller_epoch
1、brokers節(jié)點結(jié)構(gòu)說明
1.1 topic信息結(jié)構(gòu)
/brokers/topics/[topic] :
存儲某個topic的partitions所有分配信息:
Schema:
{
"version": "版本編號目前固定為數(shù)字1",
"partitions": {
"partitionId編號": [
同步副本組brokerId列表
],
"partitionId編號": [
同步副本組brokerId列表
],
.......
}
}
Example:
{
"version": 1,
"partitions": {
"0": [1, 2],
"1": [2, 1],
"2": [1, 2],
}
}
1.2 partitions信息
/brokers/topics/[topic]/partitions/[0...N] 其中[0..N]表示partition索引號
/brokers/topics/[topic]/partitions/[partitionId]/state
Schema:
{
"controller_epoch": 表示kafka集群中的中央控制器選舉次數(shù),
"leader": 表示該partition選舉leader的brokerId,
"version": 版本編號默認(rèn)為1,
"leader_epoch": 該partition leader選舉次數(shù),
"isr": [同步副本組brokerId列表]
}
Example:
{
"controller_epoch": 1,
"leader": 2,
"version": 1,
"leader_epoch": 0,
"isr": [2, 1]
}
1.3 broker信息
/brokers/ids/[0...N]
每個broker的配置文件中都需要指定一個數(shù)字類型的id(全局不可重復(fù)),此節(jié)點為臨時znode(EPHEMERAL)
Schema:
{
"jmx_port": jmx端口號,
"timestamp": kafka broker初始啟動時的時間戳,
"host": 主機(jī)名或ip地址,
"version": 版本編號默認(rèn)為1,
"port": kafka broker的服務(wù)端端口號,由server.properties中參數(shù)port確定
}
Example:
{
"jmx_port": 5051,
"timestamp":"1403061000000"
"version": 1,
"host": "127.0.0.1",
"port": 8081
}
2、Controller_epoch
/controller_epoch -> int (epoch)
此值為一個數(shù)字,kafka集群中第一個broker第一次啟動時為1，以后只要集群中center controller（中央控制器）所在broker變更或掛掉，就會重新選舉新的center controller，每次center controller變更controller_epoch值就會 + 1;
3、Controller信息
/controller -> int (broker id of the controller)
存儲center controller（中央控制器）所在kafka broker的信息。
Schema:
{
"version": 版本編號默認(rèn)為1,
"brokerid": kafka集群中broker唯一編號,
"timestamp": kafka broker中央控制器變更時的時間戳
}
Example:
{
"version": 1,
"brokerid": 3,
"timestamp": "1403061802981"
}
這個的意思就說明，當(dāng)前的Controller所在的Broker機(jī)器是哪臺，變更時間是多少等。
4、Consumer信息
/consumers/[groupId]/ids/[consumerIdString]
每個consumer都有一個唯一的ID(consumerId可以通過配置文件指定,也可以由系統(tǒng)生成),此id用來標(biāo)記消費者信息。
Schema:
{
"version": 版本編號默認(rèn)為1,
"subscription": { //訂閱topic列表},
"topic名稱": consumer中topic消費者線程數(shù)
"pattern": "static",
"timestamp": "consumer啟動時的時間戳"
}
4.1 Consumer offset信息
/consumers/[groupId]/offsets/[topic]/[partitionId] -> long (offset)
用來跟蹤每個consumer目前所消費的partition中最大的offset。此znode為持久節(jié)點，可以看出offset跟group_id有關(guān),以表明當(dāng)消費者組(consumer group)中一個消費者失效，重新觸發(fā)balance,其他consumer可以繼續(xù)消費。
