Fluem的安裝及使用

1.下載flume1.6.0,下載地址:http://archive.apache.org/dist/flume/

2.減壓,在conf目錄下修改flume-env.sh文件,將java的安裝目錄配置進(jìn)去

3.編寫flume的agent,在conf目錄下創(chuàng)建一個(gè)名為a1.conf,內(nèi)容如下:

#創(chuàng)建agent,為source,channel,sinks指定名稱

a1.sources = r1

a1.channels = c1

a1.sinks = k1


#創(chuàng)建source,這里采用netcat的模式,即通過(guò)telnet的方式

a1.sources.r1.type = netcat

#指定主機(jī)名

a1.sources.r1.bind = master

#指定端口號(hào)

a1.sources.r1.port = 44444


#創(chuàng)建channel,指定為memory的方式存儲(chǔ)channel內(nèi)容

a1.channels.c1.type = memory

#可選參數(shù),指定channel的最大可容納的event數(shù)量

a1.channels.c1.capacity = 1000

#可選參數(shù),指定一次傳輸給sink的字節(jié)數(shù)

a1.channels.c1.transactionCapacity = 1000


#創(chuàng)建sink,并指定以logger的方式輸出

a1.sinks.k1.type = logger

#可選參數(shù),指定一次輸出的最大字節(jié)數(shù)

a1.sinks.k1.maxBytesToLog = 1024


#將source,sink連接到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

4.如果沒(méi)有安裝telnet,則先安裝telnet,若已經(jīng)安裝了,可跳過(guò)這一步,安裝的軟件如下圖所示,文章末尾會(huì)給出下載地址:

安裝命令為:

chmod u+x ./* ? ? ? ? ? ?給要安裝的軟件附執(zhí)行權(quán)限

rpm -ivh ./*.rpm ? ? ? ? ?這里偷懶,直接一鍵安裝了所有軟件

/etc/rc.d/init.d/xinetd ? restart ? ? ? 重啟telnet服務(wù)

5.啟動(dòng)fluem的agent,在fluem的減壓目錄下,運(yùn)行如下命令啟動(dòng):

bin/fluem-ng agent? --conf? conf? --name? a1? --conf-file? conf/a1.conf? -Dflume.root.logger=DEBUG,console

6.通過(guò)netstat查看是否啟動(dòng)了指定的端口,這里是44444:

netstat ?-tnlp

7.啟動(dòng)telnet,發(fā)送消息,看flume是否能接受到消息:

telnet master 44444

至此,fluem的安裝搭建及測(cè)試完成,歡迎大家批評(píng)指正?。。?/p>


telnet下載地址:

鏈接:http://pan.baidu.com/s/1dFs5Snn? 密碼:gzpy


fluem的官方參考wiki地址:

http://flume.apache.org/FlumeUserGuide.html#logger-sink

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容