//
Apache數(shù)據(jù)流項(xiàng)目:一個(gè)都不少|「云頭條」-牛人微信
http://weixin.niurenqushi.com/article/2016-07-17/4368681.html
Apache NiFi
相比其他數(shù)據(jù)流解決方案,Apache NiFi是個(gè)比較新的項(xiàng)目,2015年7月份升級(jí)成為Apache的頂級(jí)項(xiàng)目。它基于企業(yè)集成模式(EIP),數(shù)據(jù)在到達(dá)目的地之前經(jīng)歷多個(gè)階段和多次轉(zhuǎn)換。
Apache NiFi隨帶一個(gè)高度直觀的圖形界面,因而很容易設(shè)計(jì)數(shù)據(jù)流和轉(zhuǎn)換。業(yè)務(wù)分析師和決策者可以使用該工具來定義數(shù)據(jù)流。它支持眾多輸入源,包括靜態(tài)數(shù)據(jù)集和流式數(shù)據(jù)集。從文件系統(tǒng)、社交媒體數(shù)據(jù)流、Kafka、FTP、HTTP和JMS等數(shù)據(jù)源獲取的數(shù)據(jù)可以流到諸多目的地,包括ElasticSearch、亞馬遜S3、AWS Lambda、Splunk、Solr、SQL和NoSQL數(shù)據(jù)庫。轉(zhuǎn)換內(nèi)容可以被引入到數(shù)據(jù)流的路徑。
NiFi
新興的工業(yè)物聯(lián)網(wǎng)領(lǐng)域需要一種強(qiáng)大、可靠和安全的數(shù)據(jù)流引擎。Apache NiFi有望成為最受青睞的編排引擎,用于處理實(shí)施的物聯(lián)網(wǎng)系統(tǒng)中的傳感器數(shù)據(jù)。
它結(jié)合了Node-Red的簡(jiǎn)潔和大數(shù)據(jù)的力量。內(nèi)置了支持Kafka、JMS及其他通道的功能,因而成為企業(yè)物聯(lián)網(wǎng)解決方案的一種理想選擇。
Apache NiFi面向的經(jīng)典場(chǎng)景之一是,構(gòu)建熱路徑和冷路徑分析。物聯(lián)網(wǎng)設(shè)備和傳感器生成的數(shù)據(jù)集含有需要實(shí)時(shí)分析的某些數(shù)據(jù)點(diǎn),而一小部分的數(shù)據(jù)存儲(chǔ)起來用于批處理。這類數(shù)據(jù)集通常通過高速引擎來流式傳輸,比如Apache Kafka、亞馬遜Kinesis和Azure Event Hubs。Apache NiFi可以用來為同一數(shù)據(jù)集定義兩條不同的路徑:負(fù)責(zé)近實(shí)時(shí)處理的熱路徑和負(fù)責(zé)批處理的冷路徑。
典型的使用場(chǎng)合:定義物聯(lián)網(wǎng)傳感器數(shù)據(jù)流動(dòng)的交互式規(guī)則引擎。
相關(guān)網(wǎng)址:https://nifi.apache.org