Nifi流程配置: CSV >> Hive

1. 通過Ambari QuickLink打開Nifi UI

2. 創(chuàng)建ProcessorGroup

a. 拖動頁面上方工具條中的ProcessorGroup圖標(biāo)至繪圖區(qū)

b. 命名Group并雙擊打開

3.創(chuàng)建Overall flow

1)添加GetFile Processor

a.拖動頁面上方工具條中的Processor圖標(biāo)至繪圖區(qū)可以開始創(chuàng)建數(shù)據(jù)流,成功后如圖


b.在搜索框處輸入想要添加的Processor。此處輸入GetFile,然后點(diǎn)擊Add,GetFile Processor 添加成功。

c.雙擊GetFile處理器或者右擊選擇Configure進(jìn)行配置,根據(jù)自身環(huán)境和需求,填寫相關(guān)配置。然后點(diǎn)擊APPLY。

GetFile關(guān)鍵配置

2)添加PutHive Processor

a.同理添加PutHive,并做相應(yīng)的配置。與GutFile不同的是,此處要創(chuàng)建Reader/Writer。

PutHive關(guān)鍵配置


b)Reader/Writer等相關(guān)配置如下

CSVReader
AvroSchemaRegistry

insurance_schema


insurance_schema
AvroReader
AvroRecordSetWriter
CSVReaderSetWriter

c)如圖,點(diǎn)擊右邊的設(shè)置按鈕可以進(jìn)入配置,點(diǎn)擊閃電樣式的按鈕可以啟動。

d)至此,PutHive Processor創(chuàng)建添加成功。

3)連接兩個(gè)Processor

a.每個(gè)處理器都有一組定義的“關(guān)系”,最基本的是success和failure。把鼠標(biāo)停在GetFile Processor,會看到一個(gè)箭頭,拖動箭頭到PutHive ,顯示success即可。

整體流程

b.此時(shí),PutHive上仍顯示警告,提示為success、retry和failure關(guān)系未連接到其他組件和自動終止??梢杂覔鬰onfigure,在setting中勾選中success、retry和failure即可實(shí)現(xiàn)自動終止。

4.啟動Processor

a.依次啟動Processor,一般按從后往前的順序右擊選擇start。

b.運(yùn)行成功后,可以看到數(shù)據(jù)再不同位置的轉(zhuǎn)移以及數(shù)據(jù)流的大小、時(shí)間等。NiFi為back?pressure提供了兩個(gè)配置元件。分別對應(yīng)的是對象數(shù)量和數(shù)據(jù)大小。并且進(jìn)度條基于隊(duì)列百分比改變顏色:綠色(0-60%),黃色(61-85%)和紅色(86-100%)。鼠標(biāo)懸停在上面可以顯示精確的百分比。

c.當(dāng)運(yùn)行出現(xiàn)問題時(shí),右上角會出現(xiàn)紅色方框,放到上面會出現(xiàn)提示信息。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容