一. 環(huán)境準(zhǔn)備

1.集群規(guī)劃

2.jar包下載

http://kafka.apache.org/downloads.html

3.虛擬機(jī)準(zhǔn)備

(1).準(zhǔn)備3臺(tái)虛擬機(jī)

(2).配置ip地址

(3).配置主機(jī)名稱

(4).3臺(tái)主機(jī)分別關(guān)閉防火墻

4.安裝jdk

5.安裝Zookeeper

在hadoop2、hadoop3和hadoop4三個(gè)節(jié)點(diǎn)上部署Zookeeper
見之前的文章

二. Kafka集群部署

1.解壓安裝包

tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module/

2.修改解壓后的文件名稱

mv kafka_2.11-0.11.0.2/ kafka-2.11

3.在/opt/module/kafka目錄下創(chuàng)建logs文件夾

cd /opt/module/kafka-2.11

mkdir logs

4.修改配置文件

cd config/

vi server.properties

輸入以下內(nèi)容：

精簡內(nèi)容

broker.id=0

delete.topic.enable=true

log.dirs=/opt/module/kafka-2.11/logs

zookeeper.connect=hadoop2:2181,hadoop3:2181,hadoop4:2181

完整內(nèi)容

#broker的全局唯一編號(hào)，不能重復(fù)

broker.id=0

#是否允許刪除topic

delete.topic.enable=true

#處理網(wǎng)絡(luò)請(qǐng)求的線程數(shù)量

num.network.threads=3

#用來處理磁盤IO的線程數(shù)量

num.io.threads=8

#發(fā)送套接字的緩沖區(qū)大小

socket.send.buffer.bytes=102400

#接收套接字的緩沖區(qū)大小

socket.receive.buffer.bytes=102400

#請(qǐng)求套接字的最大緩沖區(qū)大小

socket.request.max.bytes=104857600

#kafka運(yùn)行日志存放的路徑

log.dirs=/opt/module/kafka-2.11/logs

#topic在當(dāng)前broker上的分區(qū)個(gè)數(shù)

num.partitions=1

#用來恢復(fù)和清理data下數(shù)據(jù)的線程數(shù)量

num.recovery.threads.per.data.dir=1

#segment文件保留的最長時(shí)間，超時(shí)將被刪除

log.retention.hours=168

#配置連接Zookeeper集群地址

zookeeper.connect=hadoop2:2181,hadoop3:2181,hadoop4:2181

1

2

3

5.配置環(huán)境變量

vi /etc/profile

增加內(nèi)容：

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka-2.11

export PATH=$PATH:$KAFKA_HOME/bin

使環(huán)境變量生效：

source /etc/profile

6.分發(fā)安裝包

cd /opt/module

scp -r /kafka root@hadoop3:/opt/module/
scp -r /kafka root@hadoop4:/opt/module/

7.分別在hadoop3和hadoop4上修改配置文件

vi /opt/module/kafka-2.11/config/server.properties

將broker.id改了

//bigdata12
broker.id=1

//bigdata13
broker.id=2

注：broker.id不得重復(fù)

8.啟動(dòng)集群

依次在hadoop2、hadoop3、hadoop4節(jié)點(diǎn)上啟動(dòng)kafka(加上& ,是在后臺(tái)啟動(dòng))

//hadoop2
bin/kafka-server-start.sh config/server.properties &

//hadoop3
bin/kafka-server-start.sh config/server.properties &

//hadoop4
bin/kafka-server-start.sh config/server.properties &

9.關(guān)閉集群

//hadoop2
bin/kafka-server-stop.sh stop

//hadoop3
bin/kafka-server-stop.sh stop

//hadoop4
bin/kafka-server-stop.sh stop