hosts sy1,sy2,sy3
broker.id 0,1,2
1.安裝好jdk
2.安裝好zookeeper
3.下載安裝kafka
apache官網(wǎng)推薦鏡像下載kafka，我這邊選擇了2.11版本
wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
tar -zxvf
kafka_2.11-0.9.0.1.tgz
解壓到對(duì)應(yīng)文件夾下
4.修改配置文件
修改kafka_2.12-2.1.1/config下的server.properties
broker.id=0? #當(dāng)前機(jī)器在集群中的唯一標(biāo)識(shí)，和zookeeper的myid性質(zhì)一樣
port=9092 #當(dāng)前kafka對(duì)外提供服務(wù)的端口默認(rèn)是9092
host.name=sy1 #這個(gè)參數(shù)默認(rèn)是關(guān)閉的，在0.8.1有個(gè)bug，DNS解析問(wèn)題，失敗率的問(wèn)題。
num.network.threads=3 #這個(gè)是borker進(jìn)行網(wǎng)絡(luò)處理的線(xiàn)程數(shù)
num.io.threads=8 #這個(gè)是borker進(jìn)行I/O處理的線(xiàn)程數(shù)
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄，這個(gè)目錄可以配置為“，”逗號(hào)分割的表達(dá)式，上面的num.io.threads要大于這個(gè)目錄的個(gè)數(shù)這個(gè)目錄，如果配置多個(gè)目錄，新創(chuàng)建的topic他把消息持久化的地方是，當(dāng)前以逗號(hào)分割的目錄中，那個(gè)分區(qū)數(shù)最少就放那一個(gè)
socket.send.buffer.bytes=102400 #發(fā)送緩沖區(qū)buffer大小，數(shù)據(jù)不是一下子就發(fā)送的，先回存儲(chǔ)到緩沖區(qū)了到達(dá)一定的大小后在發(fā)送，能提高性能
socket.receive.buffer.bytes=102400
#kafka接收緩沖區(qū)大小，當(dāng)數(shù)據(jù)到達(dá)一定大小后在序列化到磁盤(pán)
socket.request.max.bytes=104857600 #這個(gè)參數(shù)是向kafka請(qǐng)求消息或者向kafka發(fā)送消息的請(qǐng)請(qǐng)求的最大數(shù)，這個(gè)值不能超過(guò)java的堆棧大小
num.partitions=1 #默認(rèn)的分區(qū)數(shù)，一個(gè)topic默認(rèn)1個(gè)分區(qū)數(shù)
log.retention.hours=168 #默認(rèn)消息的最大持久化時(shí)間，168小時(shí)，7天
message.max.byte=5242880? #消息保存的最大值5M
default.replication.factor=2? #kafka保存消息的副本數(shù)，如果一個(gè)副本失效了，另一個(gè)還可以繼續(xù)提供服務(wù)
replica.fetch.max.bytes=5242880? #取消息的最大直接數(shù)
log.segment.bytes=1073741824 #這個(gè)參數(shù)是：因?yàn)閗afka的消息是以追加的形式落地到文件，當(dāng)超過(guò)這個(gè)值的時(shí)候，kafka會(huì)新起一個(gè)文件
log.retention.check.interval.ms=300000
#每隔300000毫秒去檢查上面配置的log失效時(shí)間（log.retention.hours=168），到目錄查看是否有過(guò)期的消息如果有，刪除
log.cleaner.enable=false #是否啟用log壓縮，一般不用啟用，啟用的話(huà)可以提高性能
zookeeper.connect=sy1:2181,sy2:2181,sy3:2181
#設(shè)置zookeeper的連接端口
三臺(tái)節(jié)點(diǎn)上都對(duì)應(yīng)修改，注意broker.id不能相同
5.啟動(dòng)kafka
kafka_2.12-2.1.1/bin/kafka-server-start.sh
-daemon kafka_2.12-2.1.1/config/server.properties
檢查服務(wù)是否啟動(dòng)
jps
25301 Jps
23800 Kafka
21257 QuorumPeerMain
到此kafka安裝成功
6.配置環(huán)境變量
我這邊將zk和kafka的命令加入環(huán)境變量
寫(xiě)入文件/etc/bashrc中
echo "export
KAFKA_HOME=/opt/kafka/kafka_2.12-2.1.1" >> /etc/bashrc
echo "export ZK_HOME=/opt/zookeeper/zookeeper-3.4.14"
>> /etc/bashrc
echo "export
PATH=$PATH:$KAFKA_HOME/bin:$ZK_HOME/bin" >>
/etc/bashrc
生效環(huán)境變量
source /etc/bashrc
