一、配置詳解

round 與 rollInterval 理解有誤

round、roundValue、roundUnit是基于路徑path去滾動生成文件夾的，針對文件夾而言

rollInterval、rollSize、rollCount是基于文件的條件限制滾動生成文件的，基于文件而言的

二、簡單模板

agent_name.sources = source_name
agent_name.channels = channel_name
agent_name.sinks = sink_name

# source
agent_name.sources.source_name.type = avro
XXX
XXX

# channel
agent_name.channels.channel_name.type = file
XXX
XXX

# sink
agent_name.sinks.sink_name.type = hdfs
agent_name.sinks.sink_name.hdfs.path = hdfs://${HA_NameNode_Name}/flume_data/yr=%Y/mon=%m/day=%d/hr=%H
agent_name.sinks.sink_name.hdfs.writeFormat = Text
agent_name.sinks.sink_name.hdfs.fileSuffix = _${hdfsFileSuffix}.log
agent_name.sinks.sink_name.hdfs.fileType = DataStream
agent_name.sinks.sink_name.hdfs.filePrefix = %Y%m%d%H%M
agent_name.sinks.sink_name.hdfs.useLocalTimeStamp = true
agent_name.sinks.sink_name.hdfs.rollInterval = 0
agent_name.sinks.sink_name.hdfs.rollSize = 125829120
agent_name.sinks.sink_name.hdfs.rollCount = 0
agent_name.sinks.sink_name.hdfs.minBlockReplicas = 1
agent_name.sinks.sink_name.hdfs.round = true
agent_name.sinks.sink_name.hdfs.roundValue = 1
agent_name.sinks.sink_name.hdfs.roundUnit = hour
agent_name.sinks.sink_name.hdfs.idleTimeout = 600

# source | channel | sink 關(guān)聯(lián)
agent_name.sources.source_name.channels = channel_name
agent_name.sinks.sink_name.channel = channel_name

三、注意事項及異常

1. idleTimeout 的設(shè)置

   • 設(shè)置為0，如果flume程序突然宕機(jī)，就會導(dǎo)致 hdfs上的 .tmp后綴的文件無法會更改為完成的文件，造成一種假象，以為該文件正在寫入。當(dāng)程序重啟時，就會有兩個 .tmp文件。

   • 如果idle Timeout有設(shè)置值m，當(dāng)在m秒內(nèi)沒有數(shù)據(jù)寫入，就會把tmp文件改為已完成。后面再有數(shù)據(jù)過來的時候重新生成.tmp文件。

   • 建議：最好設(shè)置一個比較大的值，防止小文件產(chǎn)生，若不設(shè)置，宕機(jī)的話會有tmp文件

   • 為了能快速查看到數(shù)據(jù)，可以設(shè)置該值較小，沒數(shù)據(jù)進(jìn)行就滾動，因為臨時文件是不能被Hive查詢到，但是這樣會產(chǎn)生小文件

2. round 與 rollInterval 理解有誤

   • round、roundValue、roundUnit是基于路徑path去滾動生成文件夾的，針對文件夾而言

   • rollInterval、rollSize、rollCount是基于文件的條件限制滾動生成文件的，基于文件而言的

3. 異常：Error while trying to hflushOrSync
   • 問題排查：通過查看不同F(xiàn)lume的Agent日志發(fā)現(xiàn)，同名的文件被不同的Flume Agent打開，在文件第二次打開后，先前打開的Agent擁有的token就失效了，因此無法關(guān)閉它，就會不斷的報錯：Error while trying to hflushOrSync!
   • 查看之前的flume配置文件發(fā)現(xiàn)，每一個Flume-Agent配置的hdfsSink是完全一樣的，每個Flume-Agent讀取的source相同，有很大概率會出現(xiàn)多個Fume-Agent同時寫同名文件，導(dǎo)致部分Flume-Agent無法繼續(xù)。
   • 解決方案：不同F(xiàn)lume設(shè)置不同的文件后綴名

其它重要點：

1. Flume部署的機(jī)器上沒有Hadoop環(huán)境依賴：

   為了讓Flume能夠正常地和HDFS進(jìn)行交互，需要手動添加Hadoop相關(guān)的jar包到Flume的classpath中。常見的Hadoop相關(guān)的jar包如下：

   • hadoop-common.jar
   • hadoop-hdfs.jar
   • hadoop-auth.jar
   • hadoop-mapreduce-client-core.jar
   • commons-configuration.jar
   • commons-lang.jar
   • commons-collections.jar

   具體來說，如果你使用的是Hadoop2.x版本，那么在HADOOP_HOME目錄下應(yīng)該有以下目錄：

   • $HADOOP_HOME/share/hadoop/common
   • $HADOOP_HOME/share/hadoop/hdfs
   • $HADOOP_HOME/share/hadoop/mapreduce

   你可以將上述目錄中的對應(yīng)jar包復(fù)制到Flume的lib目錄下，即$FLUME_HOME/lib目錄下。

   需要注意的是，這些jar包的版本要和你的Hadoop集群的版本保持一致，否則可能會出現(xiàn)不兼容等問題。建議在添加前先確認(rèn)好版本信息。

2. Hadoop的NameNode是高可用：

• 將Hadoop集群的core-site.xml和hdfs-site.xml文件復(fù)制到Flume服務(wù)器上的某個目錄（/path/to/hadoop/conf）中

  • bin/flume-ng agent --conf-file conf/flume.conf --name a1 -Dhadoop.conf.dir=/path/to/hadoop/conf
    

• 在啟動Flume時，也可以使用"-conf"參數(shù)指定core-site.xml和hdfs-site.xml文件的路徑，如下所示：

  • bin/flume-ng agent --conf-file conf/flume.conf --name a1 -conf /path/to/hadoop/conf/core-site.xml -conf /path/to/hadoop/conf/hdfs-site.xml
    

• 直接兩個兩個文件放到 Flume_HOME/conf 目錄下

3. 沒有權(quán)限寫入HDFS目錄：

• 可以在啟動命令中設(shè)置"-Duser.name=kevin"參數(shù)

• 需要注意的是，kevin用戶需要在HDFS上擁有寫入目標(biāo)目錄的權(quán)限，否則會出現(xiàn)寫入失敗等問題。因此，在實際使用中，需要對該用戶進(jìn)行獨(dú)立管理，并按照實際需求進(jìn)行授權(quán)

./bin/flume-ng agent -n ${agentName} -c ${flumeClient}/conf/ -f ${jobLocation} -Duser.name=kevin