| 作者 | 時(shí)間 |
|---|---|
| star | 2017-8-28 |
| 編號(hào) | 說明 |
|---|---|
| 1 | 卸載openJDK,安裝SunJDK,并配置環(huán)境變量 |
| 2 | 關(guān)閉防火墻 |
| 3 | zookeeper集群已部署完畢，并啟動(dòng) |
| 4 | 準(zhǔn)備kafka安裝包（http://mirrors.hust.edu.cn/apache/kafka/） |
基礎(chǔ)環(huán)境準(zhǔn)備：
| 編號(hào) | 說明 |
|---|---|
| 1 | 卸載openJDK,安裝SunJDK,并配置環(huán)境變量 |
| 2 | 關(guān)閉防火墻 |
| 3 | zookeeper集群已部署完畢，并啟動(dòng) |
| 4 | 準(zhǔn)備kafka安裝包（http://mirrors.hust.edu.cn/apache/kafka/） |
- 上傳安裝包
- 解壓安裝包：
tar -zxvf kafka_2.11-0.11.0.0.tgz - 配置KAFKA_HOME:
sudo vi /etc/profile
加入以下配置：
export KAFKA_HOME=/server/kafka_2.11-0.11.0.0
export PATH=$KAFKA_HOME/bin:$PATH
- 加載環(huán)境變量：
souece /etc/profile - 修改配置文件：
vi kafka_2.11-0.11.0.0/config/server.properties
輸入以下內(nèi)容
#broker的全局唯一編號(hào)，不能重復(fù)
broker.id=0
#用來監(jiān)聽鏈接的端口，producer或consumer將在此端口建立連接
port=9092
#處理網(wǎng)絡(luò)請(qǐng)求的線程數(shù)量
num.network.threads=3
#用來處理磁盤IO的線程數(shù)量
num.io.threads=8
#發(fā)送套接字的緩沖區(qū)大小
socket.send.buffer.bytes=102400
#接受套接字的緩沖區(qū)大小
socket.receive.buffer.bytes=102400
#請(qǐng)求套接字的緩沖區(qū)大小
socket.request.max.bytes=104857600
#kafka運(yùn)行日志存放的路徑
log.dirs=/home/hadoop/kafka_2.11-0.11.0.0/logs
#topic在當(dāng)前broker上的分片個(gè)數(shù)
num.partitions=2
#用來恢復(fù)和清理data下數(shù)據(jù)的線程數(shù)量
num.recovery.threads.per.data.dir=1
#segment文件保留的最長時(shí)間，超時(shí)將被刪除
log.retention.hours=168
#滾動(dòng)生成新的segment文件的最大時(shí)間
log.roll.hours=168
#日志文件中每個(gè)segment的大小，默認(rèn)為1G
log.segment.bytes=1073741824
#周期性檢查文件大小的時(shí)間
log.retention.check.interval.ms=300000
#日志清理是否打開
log.cleaner.enable=true
#broker需要使用zookeeper保存meta數(shù)據(jù)
zookeeper.connect=kafka01:2181,kafka01:2181,kafka01:2181
#zookeeper鏈接超時(shí)時(shí)間
zookeeper.connection.timeout.ms=6000
#partion buffer中，消息的條數(shù)達(dá)到閾值，將觸發(fā)flush到磁盤
log.flush.interval.messages=10000
#消息buffer的時(shí)間，達(dá)到閾值，將觸發(fā)flush到磁盤
log.flush.interval.ms=3000
#刪除topic需要server.properties中設(shè)置delete.topic.enable=true否則只是標(biāo)記刪除
delete.topic.enable=true
#此處的host.name為本機(jī)IP(重要),如果不改,則客戶端會(huì)拋出:Producer connection to localhost:9092 unsuccessful 錯(cuò)誤!
host.name=kafka01
- 分發(fā)壓縮包:
scp -r /home/hadoop/kafka_2.11-0.8.2.2 kafka02:/home/hadoop
scp -r /home/hadoop/kafka_2.11-0.8.2.2 kafka02:/home/hadoop
- 再次修改配置文件:
依次修改各服務(wù)器上配置文件的的broker.id，分別是0,1,2不得重復(fù)。
依次修改host.name
- 啟動(dòng)集群(依次在各節(jié)點(diǎn)上啟動(dòng)kafka):
nohup kafka-server-start.sh config/server.properties &
