（十四）flume+Kafka安裝配置

1. 解壓apache-flume-1.6.0-bin.tar.gz 至指定目錄

[root@node02 software]# tar -zvxf apache-flume-1.6.0-bin.tar.gz -C /opt/ycyz/

2. 進(jìn)入conf/ 目錄，直接把flume-env.sh.template 文件復(fù)制為flume-env.sh

[root@node02 conf]# cp flume-env.sh.template flume-env.sh

3. 修改flume-env.sh，將JAVA_HOME修改為自己的JAVA安裝路徑

[root@node02 conf]# vi flume-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64

4. 在conf/ 創(chuàng)建一個(gè)文件，用于配置flume和Kafka之間的連接信息

[root@node02 conf]# vi flume_kafka.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
# 客戶端連接flume類型
a1.sources.r1.type = avro
# flume綁定的節(jié)點(diǎn)
a1.sources.r1.bind = node02
a1.sources.r1.port = 41414

# Describe the sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
# 輸出到Kafka的topic，會(huì)自動(dòng)創(chuàng)建
a1.sinks.k1.topic = testflume
# Kafka的節(jié)點(diǎn)地址
a1.sinks.k1.brokerList = node02:9092,node03:9092,node04:9092
# 消息保障機(jī)制
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000000
a1.channels.c1.transactionCapacity = 10000

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5. 配置環(huán)境變量

6. 啟動(dòng)flume讀取配置文件，向Kafka推送消息

[root@node02 ~]# flume-ng agent -n a1 -c conf -f $FLUME/conf/flume_kafka.conf -Dflume.root.logger=DEBUG,console
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容