黑猴子的家:Flume使用場(chǎng)景

Flume在英文中的意思是水道, 但Flume更像可以隨意組裝的消防水管,下面根據(jù)官方文檔,展示幾種Flow。

1、多個(gè)agent順序連接

可以將多個(gè)Agent順序連接起來(lái),將最初的數(shù)據(jù)源經(jīng)過(guò)收集,存儲(chǔ)到最終的存儲(chǔ)系統(tǒng)中。這是最簡(jiǎn)單的情況,一般情況下,應(yīng)該控制這種順序連接,Agent 的數(shù)量,因?yàn)閿?shù)據(jù)流經(jīng)的路徑變長(zhǎng)了,如果不考慮failover(故障轉(zhuǎn)移)的話,出現(xiàn)故障將影響整個(gè)Flow上的Agent收集服務(wù)。

2、多個(gè)Agent的數(shù)據(jù)匯聚到同一個(gè)Agent

這種情況應(yīng)用的場(chǎng)景比較多,比如要收集Web網(wǎng)站的用戶行為日志, Web網(wǎng)站,為了可用性使用的負(fù)載集群模式,每個(gè)節(jié)點(diǎn)都產(chǎn)生用戶行為日志,可以為
每個(gè)節(jié)點(diǎn),都配置一個(gè)Agent來(lái)單獨(dú)收集日志數(shù)據(jù),然后多個(gè)Agent將數(shù)據(jù)匯聚到一個(gè)Agent上,最終匯聚到用來(lái)存儲(chǔ)數(shù)據(jù)的存儲(chǔ)系統(tǒng),列如HDFS上。

3、多級(jí)流

Flume還支持多級(jí)流,什么多級(jí)流?結(jié)合在云開(kāi)發(fā)中的應(yīng)用來(lái)舉個(gè)例子,當(dāng)syslog, java, nginx、 tomcat等混合在一起的日志流開(kāi)始流入一個(gè)agent后,可以agent中將混雜的日志流分開(kāi),然后給每種日志建立一個(gè)自己的傳輸通道。

4、load balance功能

上圖Agent是一個(gè)路由節(jié)點(diǎn),負(fù)責(zé)將Channel暫存的Event均衡到對(duì)應(yīng)的多個(gè)Sink組件上,而每個(gè)Sink組件分別連接到一個(gè)獨(dú)立的Agent上 。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 閱讀目錄(Content) 一、Flume簡(jiǎn)介 二、Flume特點(diǎn) 三、Flume的一些核心概念 3.1、Agen...
    達(dá)微閱讀 4,877評(píng)論 0 9
  • 一、Flume簡(jiǎn)介 flume 作為 cloudera 開(kāi)發(fā)的實(shí)時(shí)日志收集系統(tǒng),受到了業(yè)界的認(rèn)可與廣泛應(yīng)用。Flu...
    superxcp閱讀 1,065評(píng)論 0 2
  • 博客原文 翻譯作品,水平有限,如有錯(cuò)誤,煩請(qǐng)留言指正。原文請(qǐng)見(jiàn) 官網(wǎng)英文文檔 引言 概述 Apache Flume...
    rabbitGYK閱讀 11,705評(píng)論 13 34
  • 介紹 概述 Apache Flume是為有效收集聚合和移動(dòng)大量來(lái)自不同源到中心數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)的可分布,可靠的,可用...
    ximengchj閱讀 3,668評(píng)論 0 13
  • 轉(zhuǎn)自http://www.aboutyun.com/thread-8317-1-1.html 問(wèn)題導(dǎo)讀: 1.Fl...
    大時(shí)代_f479閱讀 2,205評(píng)論 0 6

友情鏈接更多精彩內(nèi)容