說明：本例主要采集日志文件到kafka為例
filebeat簡述
? ? ? Filebeat是一個日志文件托運工具，在服務(wù)器上安裝客戶端后，filebeat會監(jiān)控日志目錄或者指定的日志文件，追蹤讀取這些文件（追蹤文件的變化，不停的讀）
? ? ? Filebeat工作流程：當(dāng)開啟filebeat程序時，它會啟動一個或多個探測器（prospectors）去檢測你指定的日志目錄或文件，對于探測器找出的每一個日志文件，filebeat啟動收割進程（harvester），每一個收割進程讀取一個日志文件的新內(nèi)容，并發(fā)送這些新的日志數(shù)據(jù)到處理程序（spooler），處理程序會集合這些事件，最后filebeat會發(fā)送集合的數(shù)據(jù)到你指定的地點。
使用：
1、解壓安裝包，不需要安裝，直接可以使用
2、filebeat.yml主要配置文件配置：
#=========================== Filebeat inputs =============================
filebeat.inputs:
- input_type: log
enabled: true
paths:
- c:\Users\15324\Desktop\log1\u_ex*.log
- c:\Users\15324\Desktop\log2\u_ex*.log
#=========================== kafka output =============================
output.kafka:
hosts: ["10.0.0.212:6667","10.0.0.213:6667","10.0.0.219:6667"]
topic: test-topic1
required_acks: 1
#=========================== 其他 output =============================
注：（其他配置不做用修改）日志輸出格式：json
3、開啟kafka控制臺consumer：
命令：kafka-console-consumer.sh --zookeeper hdp01:2181, hdp02:2181,hdp03:2181 --topic test-topic1 --from-beginning
4、啟動命令：filebeat -e -c filebeat.yml
-e：關(guān)閉日志輸出
-c：配置文件位置
4、kafka控制臺日志輸出：
詳見：我的微博 https://blog.csdn.net/lihuan1124/article/details/81453807
