1、Kafka Eagle是什么?
Kafka Eagle是一款用于監(jiān)控和管理Apache Kafka的開(kāi)源系統(tǒng),它提供了完善的管理頁(yè)面,例如Broker詳情、性能指標(biāo)趨勢(shì)、Topic集合、消費(fèi)者信息等。
源代碼地址:https://github.com/smartloli/kafka-eagle
2、Kafka Eagle包含哪些功能?
Kafka Eagle監(jiān)控管理系統(tǒng),提供了一個(gè)可視化頁(yè)面,使用者可以擁有不同的角色,例如管理員、開(kāi)發(fā)者、游客等。不同的角色對(duì)應(yīng)不同的使用權(quán)限,核心功能如下所示:

3.Kafka Eagle如何安裝?
Kafka Eagle安裝部署,可以從官網(wǎng)下載最新版本,按如下命令操作即可:
# 解壓安裝包
tar -zxvf kafka-eagle-v1.4.2-bin.tar.gz
然后,配置環(huán)境變量KE_HOME和JAVA_HOME。需要注意的是,程序依賴(lài)jdk環(huán)境,需要安裝jdk1.8以上版本,配置/etc/profile如下:
vim /etc/profile
export JAVA_HOME=/opt/jdk8
export KE_HOME=/opt/kafka-eagle
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin
接下來(lái),配置Kafka Eagle的系統(tǒng)文件,內(nèi)容如下:
vim system-config.properties
######################################
# kafka多集群配置,設(shè)置zookeeper信息,自動(dòng)識(shí)別kafka broker
######################################
efak.zk.cluster.alias=cluster1
cluster1.zk.list=localhost:2181
######################################
# zookeeper acl安全策略配置
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123
######################################
# kafka jmx acl認(rèn)證配置
######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456
######################################
#kafka存儲(chǔ)消費(fèi)信息的類(lèi)型,0.9版本之前,默認(rèn)配置zk,在0.10版本之后,默認(rèn)配置Kafka
######################################
cluster1.efak.offset.storage=kafka
######################################
# 刪除Kafka Topic的驗(yàn)證token
######################################
efak.topic.token=keadmin
######################################
# kafka sasl認(rèn)證策略,參照kafka配置
######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=
######################################
# Kafka Eagle元數(shù)據(jù)信息的數(shù)據(jù)庫(kù),默認(rèn)使用Sqlite
######################################
efak.driver=org.sqlite.JDBC
efak.url=jdbc:sqlite:/opt/eagle-3.0.1/db/ke.db
efak.username=root
efak.password=www.kafka-eagle.org
4、開(kāi)啟kafka集群Broker節(jié)點(diǎn)JMX_PORT
配置eagle監(jiān)控kafka集群JMX,需要開(kāi)啟Kafka集群的各個(gè)Broker節(jié)點(diǎn)JMX_PORT(Kafka默認(rèn)不開(kāi)啟),連接失敗會(huì)報(bào)空指針異常。
vi kafka-server-start.sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
# 開(kāi)啟JMX_PORT端口,端口開(kāi)啟后,Kafka Eagle系統(tǒng)會(huì)自動(dòng)感知獲取
export JMX_PORT="9999"
fi
5、啟動(dòng)Kafka Eagle系統(tǒng)
執(zhí)行如下命令:
ke.sh start
待提示啟動(dòng)成功后,瀏覽器訪問(wèn):http://節(jié)點(diǎn)IP:7766 輸入賬戶(hù)admin/123456登錄。
6、附錄
kafka-console-ui: 一款快捷易用的輕量級(jí)kafka可視化管理平臺(tái)
kafkaUI-lite: kafka 可視化工具,同時(shí)也是zookeeper 、redis的圖形工具