Flume1:Flume的安裝部署

1.下載安裝

1.1 下載:
apache-flume-1.6.0-bin.tar.gz
鏈接:https://pan.baidu.com/s/1ySmEEObFtKtyT7GsEldnfA
提取碼:436t
1.2 安裝:
Flume的安裝非常簡(jiǎn)單,只需要解壓即可
tar -zxvf apache-flume-1.6.0-bin.tar.gz
然后進(jìn)入flume的目錄,修改conf下的flume-env.sh,在里面配置JAVA_HOME

2.測(cè)試

2.1 采集配置:
vi netcat-logger.conf

# 定義這個(gè)agent中各組件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置source組件:r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述和配置sink組件:k1
a1.sinks.k1.type = logger
# 描述和配置channel組件,此處使用是內(nèi)存緩存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 描述和配置source  channel   sink之間的連接關(guān)系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2.2 啟動(dòng)agent去采集數(shù)據(jù)
啟動(dòng)命令:
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console

-c conf   指定flume自身的配置文件所在目錄
-f conf/netcat-logger.con  指定我們所描述的采集方案
-n a1  指定我們這個(gè)agent的名字

2.3 測(cè)試
先要往agent采集監(jiān)聽的端口上發(fā)送數(shù)據(jù),讓agent有數(shù)據(jù)可采
發(fā)送命令:

  1. 安裝telnet:]# yum install telnet
  2. ]# telnet anget-hostname port (telnet localhost 44444)
    測(cè)試輸入輸出如下圖:



最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 面對(duì)以上的問題,我們?nèi)绾螌⑦@些日志移動(dòng)到hdfs集群上尼???? 第一種方案:使用shell腳本cp 文件,然后通...
    機(jī)靈鬼鬼閱讀 1,517評(píng)論 1 1
  • 1Flume概述 1.1 定義 Flume是Cloudera提供的一個(gè)高可用的,高可靠的,分布式的海量日志采集、聚...
    djm猿閱讀 691評(píng)論 0 4
  • 1. Flume 介紹 1.1. 概述 Flume是一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。 ...
    你值得擁有更好的12138閱讀 10,505評(píng)論 1 0
  • .Azkaban工作流引擎和Flume數(shù)據(jù)采集 Azkaban介紹 一、Azkaban簡(jiǎn)介 為什么需要工作流調(diào)度系...
    依天立業(yè)閱讀 2,161評(píng)論 0 2
  • 十月雨 欲寒不休 漫步于瑟瑟寒露 無所適從 徬徨 曾經(jīng) 肥沃的土地 麥谷的清香 只能是兒時(shí)的記憶… 一幢幢...
    韻芳閱讀 256評(píng)論 1 6

友情鏈接更多精彩內(nèi)容