每個(gè)企業(yè)里的每個(gè)部門、每個(gè)團(tuán)隊(duì)都擁有潛在的高價(jià)值數(shù)據(jù)寶庫，但很可惜其中的73%未被使用到，因?yàn)槿狈ο鄳?yīng)的數(shù)據(jù)整合工具，所以ETL是解決這個(gè)問題的很好辦法。然而，最初的ETL流程是為十年前的業(yè)務(wù)需求而構(gòu)建的，現(xiàn)在的時(shí)代已經(jīng)變了。
當(dāng)今的企業(yè)擁有的數(shù)據(jù)源數(shù)量正在以非常高的速度增長(zhǎng)著，有研究表明，現(xiàn)代企業(yè)可以在其的環(huán)境中擁有多達(dá)400個(gè)企業(yè)應(yīng)用程序，以及產(chǎn)生大量數(shù)據(jù)的社交媒體平臺(tái)和移動(dòng)技術(shù)。為了整合這一切，管理數(shù)據(jù)的領(lǐng)導(dǎo)者需要以新的方法來整合這些歷史數(shù)據(jù)，以利用這些數(shù)據(jù)來進(jìn)行戰(zhàn)略業(yè)務(wù)規(guī)劃。
?
過去的ETL
在過去，少數(shù)數(shù)據(jù)源的ETL流程可以由簡(jiǎn)單的工具處理完成。然而，隨著數(shù)據(jù)量和的增加，系統(tǒng)和流程出現(xiàn)故障的概率也在不斷增加，因?yàn)閭鹘y(tǒng)的ETL工具帶有一連串的缺點(diǎn)。
?
對(duì)于初學(xué)者來說，許多ETL功能歷來都是手動(dòng)編碼的，這是一個(gè)漫長(zhǎng)且復(fù)雜的過程，手工編碼的過程非常具有挑戰(zhàn)性：一個(gè)開發(fā)人員難以學(xué)習(xí)另一個(gè)開發(fā)人員的代碼，導(dǎo)致許多開發(fā)人員必須從頭開始重寫代碼，增加了操作的時(shí)間和費(fèi)用。更糟糕的是，每當(dāng)團(tuán)隊(duì)成員離開或代碼（或配置）未記錄在案時(shí)，公司就會(huì)面臨很大的風(fēng)險(xiǎn)。就日常運(yùn)營(yíng)和對(duì)業(yè)務(wù)用戶的影響而言，本地ETL系統(tǒng)在為企業(yè)做出明智決策所需的洞察力方面一直很慢。
?
這些系統(tǒng)通常用于批處理，通常會(huì)迫使企業(yè)在非工作時(shí)間（例如夜間）里使用計(jì)算資源來運(yùn)行ETL進(jìn)行作業(yè)，最終會(huì)導(dǎo)致更高的成本、功耗、硬件和人員開銷，以及更高的停機(jī)或服務(wù)中斷的風(fēng)險(xiǎn)。
?
現(xiàn)代基于云的ETL
傳統(tǒng)的ETL流程特征是批量提取數(shù)據(jù)，在暫存區(qū)對(duì)其進(jìn)行轉(zhuǎn)換，然后將其加載到數(shù)據(jù)倉庫或其他地方，但是該模型不符合現(xiàn)代業(yè)務(wù)需求。
?
在當(dāng)今的業(yè)務(wù)環(huán)境中，數(shù)據(jù)提取必須實(shí)時(shí)工作，并為用戶提供自助服務(wù)功能，以便隨時(shí)運(yùn)行查詢并查看當(dāng)前情況。而且，隨著公司越來越多地將更多的應(yīng)用程序和工作負(fù)載遷移到云端了，他們將面臨成倍增長(zhǎng)的數(shù)據(jù)集以及來自眾多渠道的數(shù)據(jù)源，所以ETL工具必須可以毫不費(fèi)力地處理這些大量的數(shù)據(jù)。
?
現(xiàn)代ETL工具應(yīng)該能夠在任何云產(chǎn)品上運(yùn)行良好，并且應(yīng)該能夠隨著公司更換云的提供商而輕松遷移，還必須具有良好的容錯(cuò)性、安全性、可擴(kuò)展性和端到端的準(zhǔn)確性，尤其是在為新的機(jī)器學(xué)習(xí) (ML) 或人工智能 (AI) 模型提供關(guān)鍵信息時(shí)，可以做出準(zhǔn)確且更具前瞻性的判斷。
?
比較表
現(xiàn)在是實(shí)現(xiàn)ETL現(xiàn)代化的時(shí)候了
關(guān)于云ETL的工具挺多的，這里重點(diǎn)介紹一個(gè)Smartbi智分析的云ETL工具，功能非常強(qiáng)大，處理過程非常智能，通過鼠標(biāo)簡(jiǎn)單的拖拽便可以進(jìn)行復(fù)雜的ETL程序。最具有價(jià)值的地方是它的云屬性，只要有網(wǎng)絡(luò)便可以隨時(shí)隨地進(jìn)行工作，不受限于時(shí)間與空間。
舊的ETL已方法無法跟上，因此公司開始轉(zhuǎn)向云，您的團(tuán)隊(duì)是否將云用于 ETL 流程？
