問(wèn)題現(xiàn)象

文件系統(tǒng)監(jiān)控，以肉眼可見(jiàn)的速度增大使用空間

查看當(dāng)前日志保留策略配置，關(guān)鍵配置如下：

存在風(fēng)險(xiǎn)

日志片大小設(shè)置為1G（log.segment.bytes默認(rèn)大小也是1G），刪除策略需要等到日志分片后才能被標(biāo)記為刪除，如沒(méi)有設(shè)置分片時(shí)間的話，需要等寫(xiě)滿日志片，或是等到7天（默認(rèn)時(shí)間）沒(méi)有數(shù)據(jù)寫(xiě)入后，才會(huì)自動(dòng)分片。

針對(duì)問(wèn)題處理方案

可以適當(dāng)降低log.segment.bytes 大小為512M，設(shè)置segment.bytes 大小為 512M，手動(dòng)設(shè)置分片時(shí)間 log.roll.hours ,

參考： kafka 數(shù)據(jù)定時(shí)刪除實(shí)驗(yàn)

處理步驟

1.停止kafka服務(wù)

a) 找出kafka進(jìn)程號(hào)，使用命令jps

b) 殺掉kafka進(jìn)程，使用命令 kill -9 xxx

c) 查看當(dāng)前kafka進(jìn)程是否還存在，ps -ef|grep kafka jps

2.修改配置

vi $KAFKA_HOME/config/server.properties

修改配置：

log.segment.bytes=536870912

添加配置：

segment.bytes=536870912

log.roll.hours=12

3.啟動(dòng)kafka服務(wù)

./bin/start_kafka.sh

4.檢查狀態(tài)

ps -ef|grep kafka

jps

5.依次操作其它服務(wù)器