部署kafka可視化kafka-eagle系統(tǒng),實(shí)現(xiàn)kafka管理和數(shù)據(jù)mock

1、Kafka Eagle是什么?

Kafka Eagle是一款用于監(jiān)控和管理Apache Kafka的開(kāi)源系統(tǒng),它提供了完善的管理頁(yè)面,例如Broker詳情、性能指標(biāo)趨勢(shì)、Topic集合、消費(fèi)者信息等。
源代碼地址:https://github.com/smartloli/kafka-eagle

2、Kafka Eagle包含哪些功能?

Kafka Eagle監(jiān)控管理系統(tǒng),提供了一個(gè)可視化頁(yè)面,使用者可以擁有不同的角色,例如管理員、開(kāi)發(fā)者、游客等。不同的角色對(duì)應(yīng)不同的使用權(quán)限,核心功能如下所示:


3.Kafka Eagle如何安裝?

Kafka Eagle安裝部署,可以從官網(wǎng)下載最新版本,按如下命令操作即可:

# 解壓安裝包
tar -zxvf kafka-eagle-v1.4.2-bin.tar.gz

然后,配置環(huán)境變量KE_HOME和JAVA_HOME。需要注意的是,程序依賴(lài)jdk環(huán)境,需要安裝jdk1.8以上版本,配置/etc/profile如下:

vim /etc/profile

export JAVA_HOME=/opt/jdk8
export KE_HOME=/opt/kafka-eagle
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin

接下來(lái),配置Kafka Eagle的系統(tǒng)文件,內(nèi)容如下:

vim system-config.properties 

######################################
# kafka多集群配置,設(shè)置zookeeper信息,自動(dòng)識(shí)別kafka broker
######################################
efak.zk.cluster.alias=cluster1
cluster1.zk.list=localhost:2181

######################################
# zookeeper acl安全策略配置
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

######################################
# kafka jmx acl認(rèn)證配置
######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456

######################################
#kafka存儲(chǔ)消費(fèi)信息的類(lèi)型,0.9版本之前,默認(rèn)配置zk,在0.10版本之后,默認(rèn)配置Kafka
######################################
cluster1.efak.offset.storage=kafka

######################################
# 刪除Kafka Topic的驗(yàn)證token
######################################
efak.topic.token=keadmin

######################################
# kafka sasl認(rèn)證策略,參照kafka配置
######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=

######################################
# Kafka Eagle元數(shù)據(jù)信息的數(shù)據(jù)庫(kù),默認(rèn)使用Sqlite
######################################
efak.driver=org.sqlite.JDBC
efak.url=jdbc:sqlite:/opt/eagle-3.0.1/db/ke.db
efak.username=root
efak.password=www.kafka-eagle.org

4、開(kāi)啟kafka集群Broker節(jié)點(diǎn)JMX_PORT

配置eagle監(jiān)控kafka集群JMX,需要開(kāi)啟Kafka集群的各個(gè)Broker節(jié)點(diǎn)JMX_PORT(Kafka默認(rèn)不開(kāi)啟),連接失敗會(huì)報(bào)空指針異常。

vi kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    # 開(kāi)啟JMX_PORT端口,端口開(kāi)啟后,Kafka Eagle系統(tǒng)會(huì)自動(dòng)感知獲取
    export JMX_PORT="9999"
fi

5、啟動(dòng)Kafka Eagle系統(tǒng)

執(zhí)行如下命令:

ke.sh start

待提示啟動(dòng)成功后,瀏覽器訪問(wèn):http://節(jié)點(diǎn)IP:7766 輸入賬戶(hù)admin/123456登錄。

6、附錄

kafka-console-ui: 一款快捷易用的輕量級(jí)kafka可視化管理平臺(tái)
kafkaUI-lite: kafka 可視化工具,同時(shí)也是zookeeper 、redis的圖形工具

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容