一、kafka單節(jié)點(diǎn)單broker環(huán)境搭建
系統(tǒng)環(huán)境：centos 64位 mini
虛擬機(jī)：Virtual Box
如果你不熟悉virtual box的使用，不知道如何安裝centos系統(tǒng)，可以參考之前發(fā)布的文章：
快速掌握基于Virtualbox最小化安裝centos6及遠(yuǎn)程工具xshell使用
快速掌握virtualbox虛擬機(jī)搭建centos系統(tǒng)集群
如果你不想用virtual box，也可以使用docker，之前發(fā)布的文章也有介紹，請進(jìn)入頭條號查看
1、Windows下搭建單節(jié)點(diǎn)kafka環(huán)境
請參考之前發(fā)布在頭條號上的文章，已經(jīng)詳細(xì)介紹了
1）JDK環(huán)境搭建
快速搭建Java（JDK）Tomcat基礎(chǔ)開發(fā)環(huán)境
2）zookeeper環(huán)境搭建
3）kafka環(huán)境搭建
2、Linux下搭建
1）JDK環(huán)境搭建
解壓：
cd/usr/local/src
tar-zxvfjdk-8u181-linux-x64.tar.gz
mvjdk1.8.0_181../
配置：
cd/usr/local/jdk1.8.0_181
vim/etc/profile
exportJAVA_HOME=/usr/local/jdk1.8.0_181
exportPATH=$JAVA_HOME/bin:$PATH
source /etc/profile
驗(yàn)證：java -version
2）zookeeper環(huán)境搭建
下載
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
解壓
cd/usr/local/src
tar-zxvfzookeeper-3.4.12.tar.gz
mvzookeeper-3.4.12../
配置環(huán)境變量
cd/usr/local/zookeeper-3.4.12
mkdirdata
mkdirlogs
vim/etc/profile
exportZK_HOME=/usr/local/zookeeper-3.4.12
exportPATH=$ZK_HOME/bin:$PATH
source /etc/profile
修改zoo.cfg
cpconf/zoo_sample.cfgconf/zoo.cfg
vimconf/zoo.cfg
dataDir=/usr/local/zookeeper-3.4.12/data
dataLogDir=/usr/local/zookeeper-3.4.12/logs
啟動(dòng)測試
zkServer.sh start
[root@jikehzookeeper-3.4.12]#zkServer.shstart
ZooKeeperJMXenabledbydefault
Usingconfig:/usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
Startingzookeeper...STARTED
查看啟動(dòng)進(jìn)程信息
[root@jikehlocal]#jps
3829QuorumPeerMain
3848Jps
?
[root@jikehlocal]#jps-m
3858Jps-m
3829QuorumPeerMain/usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
注釋：zookeeper啟動(dòng)后，會(huì)多一個(gè)進(jìn)程QuorumPeerMain
3）kafka環(huán)境搭建
下載：
cd/usr/local/src
wgethttps://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
注釋：我們使用的版本是0.9.0.1
解壓：
tar-zxvfkafka_2.11-0.9.0.1.tgz
mvkafka_2.11-0.9.0.1../
配置環(huán)境變量：
vim /etc/profile
exportKAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1
exportPATH=$KAFKA_HOME/bin:$PATH
使得環(huán)境變量立即生效：source /etc/profile
配置server.properties
cd/usr/local/kafka_2.11-0.9.0.1
vimconf/server.properties
server.properties重要參數(shù)說明：
broker.id=0//This must be set to a unique integer for each broker
advertised.listeners=PLAINTEXT://192.168.0.108:9092：遠(yuǎn)程連接需要配置下（0.9.0.1版本沒有這個(gè)問題）
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默認(rèn)的是不會(huì)持久化存儲(chǔ)的，這里必須更改下
zookeeper.connect=//zookeeper的連接地址：根據(jù)實(shí)際進(jìn)行配置
3）啟動(dòng)測試
配置你的hosts：
127.0.0.1? jikeh
啟動(dòng)zookeeper：
Kafka 使用 ZooKeeper 如果你還沒有ZooKeeper服務(wù)器，你需要先啟動(dòng)一個(gè)ZooKeeper服務(wù)器。 您可以通過與kafka打包在一起的便捷腳本來快速簡單地創(chuàng)建一個(gè)單節(jié)點(diǎn)ZooKeeper實(shí)例。
cd /usr/local/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh config/zookeeper.properties
啟動(dòng)kafka：
bin/kafka-server-start.sh config/server.properties
后臺啟動(dòng)：
bin/kafka-server-start.sh -daemon config/server-1.properties &
注釋：一個(gè)server.properties其實(shí)，就可以當(dāng)做一個(gè)broker
jps:查看當(dāng)前運(yùn)行的進(jìn)程
jps -m:查看當(dāng)前運(yùn)行進(jìn)程的詳細(xì)信息
二、kafka基本使用
1、創(chuàng)建Topic
1）新建topic
查看命令的幫助信息：直接輸入bin/kafka-topics.sh，然后enter，就可以查看所有的參數(shù)信息
bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test
注釋：參數(shù)說明
replication-factor：設(shè)置副本數(shù)
partitions：設(shè)置分區(qū)數(shù)
2）查看當(dāng)前所有的topic列表
bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181
3）看下topic的詳情信息
查看所有topic：
bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181
查看指定topic：
bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test
2、發(fā)送消息
bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test
3、消費(fèi)消息
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
[root@jikehkafka_2.11-0.9.0.1]#bin/kafka-console-consumer.sh--zookeeperlocalhost:2181--from-beginning--topicmy-replicated-topic
UsingtheConsoleConsumerwitholdconsumerisdeprecatedandwillberemovedinafuturemajorrelease.Considerusingthenewconsumerbypassing[bootstrap-server]insteadof[zookeeper].
上面的警告信息，表示：這是個(gè)廢棄的用法，建議使用新的用法[bootstrap-server]
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test
注釋：
--from-beginning參數(shù)的作用：重新開始消費(fèi)消息，不管是否已經(jīng)被消費(fèi)了
對于低版本的kafka需要這樣連接：
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
4、疑惑點(diǎn)
通過以上命令，很多人就有疑問了，到底什么時(shí)候跟zookeeper打交道，什么時(shí)候跟broker打交道呢，這很容易讓人糊涂
創(chuàng)建topic我是跟zookeeper打交道，而生產(chǎn)、消費(fèi)消息卻與broker打交道，但是低版本的kafka，消費(fèi)者還是與zookeeper進(jìn)行打交道的
注意：
低版本的kafka：需要這樣消費(fèi)
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
高版本的kafka：
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning
注釋：官網(wǎng)上的文檔，其實(shí)是按高版本的kafka來更新文檔的
為什么會(huì)有這種區(qū)別呢？
Kafka consumers在早先的版本中，offset默認(rèn)存儲(chǔ)在ZooKeeper中。
三、kafka客戶端遠(yuǎn)程連接測試
如果你理解上有困難，歡迎留言，或者參考視頻教程：
帶你看官網(wǎng)學(xué)習(xí)Kafka，掌握Linux下Kafka環(huán)境搭建及基本使用
參考Kafka bootstrap-servers vs zookeeper in kafka-console-consumer中說建議使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server
如果你覺得文章還可以，歡迎掃一下：
更多內(nèi)容，請關(guān)注：頭條號（極客慧）
更多資料分享，問題咨詢，可以入群討論：375412858
文章中用到的源碼，請入群索要：
