在學(xué)習(xí)kafka集群之前，先來(lái)學(xué)習(xí)下單節(jié)點(diǎn)kafka的一些基本操作，包括安裝及一些基本命令，以便后續(xù)集群環(huán)境的學(xué)習(xí)。

1.單節(jié)點(diǎn)安裝

kafka必須依賴于zookeeper，假定當(dāng)前zookeeper集群已搭建完成（如不熟悉zookeeper集群如何搭建，請(qǐng)參考http://www.itdecent.cn/p/0e813f6a6049）。

環(huán)境依賴：
1.已安裝完畢的zookeeper集群：
192.168.162.52：2181
192.168.162.235：2181
192.168.162.239：2181
2.軟件環(huán)境
centos6.8   
jdk "1.8.0_111"
3.kafka軟件
cd /opt
mkdir kafka
cd /opt/kafka
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz
tar -zxvf  kafka_2.12-0.11.0.0.tgz

kafka配置 server.properties：

1.log.dirs 修改到指定目錄
log.dirs=/opt/kafka/kafka_2.12-0.11.0.0/kafka-logs
2.zookeeper配置 
zookeeper.connect=192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181

server.properties 參數(shù)配置詳解：

kafka 啟動(dòng)：

cd /opt/kafka/kafka_2.12-0.11.0.0
nohup ./bin/kafka-server-start.sh  ./config/server.properties  &

2. Topic

2.1創(chuàng)建topic

cd /opt/kafka/kafka_2.12-0.11.0.0

bin/kafka-topics.sh --create --topic test0 --zookeeper 192.168.162.52：2181,192.168.162.235：2181,192.168.162.239：2181 --partitions 1 --replication-factor 1
--create： 指定創(chuàng)建topic動(dòng)作
--topic：指定新建topic的名稱
--zookeeper： 指定kafka連接zk的連接url，該值和server.properties文件中的配置項(xiàng){zookeeper.connect}一樣
--config：指定當(dāng)前topic上有效的參數(shù)值，參數(shù)列表參考文檔為: [Topic-level configuration](http://kafka.apache.org/documentation/)
--partitions：指定當(dāng)前創(chuàng)建的kafka分區(qū)數(shù)量，默認(rèn)為1個(gè)
--replication-factor：指定每個(gè)分區(qū)的復(fù)制因子個(gè)數(shù)，默認(rèn)1個(gè)

create topic

2.2 查看Topic

 ./bin/kafka-topics.sh --list --zookeeper 192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181

查看topic

2.3 查看topic描述

./bin/kafka-topics.sh --describe --zookeeper 192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181 

--describe： 指定是展示詳細(xì)信息命令
--zookeeper： 指定kafka連接zk的連接url，該值和server.properties文件中的配置項(xiàng){zookeeper.connect}一樣
--topic：指定需要展示數(shù)據(jù)的topic名稱

describe

2.4 修改topic

bin/kafka-topics.sh --zookeeper 192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181 --alter --topic test0 --config max.message.bytes=128000
bin/kafka-topics.sh --zookeeper 192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181 --alter --topic test0 --delete-config max.message.bytes
bin/kafka-topics.sh --zookeeper 192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181 --alter --topic test0 --partitions 10 
bin/kafka-topics.sh --zookeeper 192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181 --alter --topic test0 --partitions 3 ## Kafka分區(qū)數(shù)量只允許增加，不允許減少

2.5 刪除topic

默認(rèn)情況下Kafka的Topic不能直接刪除的，需要進(jìn)行相關(guān)參數(shù)配置
bin/kafka-topics.sh --delete --topic test0 --zookeeper 192.168.187.146:2181

默認(rèn)情況下，刪除是標(biāo)記刪除，沒(méi)有實(shí)際刪除這個(gè)Topic；如果運(yùn)行刪除Topic，可以通過(guò)如下兩種方式：
方式一：通過(guò)delete命令刪除后，手動(dòng)將本地磁盤以及zk上的相關(guān)topic的信息刪除即可
方式二：配置server.properties文件，給定參數(shù)delete.topic.enable=true，重啟kafka服務(wù)，此時(shí)執(zhí)行delete命令表示允許進(jìn)行Topic的刪除

3.啟動(dòng)生產(chǎn)者發(fā)送消息

 ./bin/kafka-console-producer.sh --broker-list 192.168.162.239:9092 --topic test0

生產(chǎn)者

生產(chǎn)者部分參數(shù)

4.啟動(dòng)消費(fèi)者接收消息

 ./bin/kafka-console-consumer.sh  --zookeeper 192.168.162.52:2181,192.168.162.235:2181,192.168.162.239:2181 --topic test0 --from-beginning

消費(fèi)者

消費(fèi)者部分參數(shù)