本文將通過對數(shù)據(jù)中臺架構(gòu)的介紹，讓大家了解數(shù)據(jù)中臺總體架構(gòu)、包含的模塊、模塊之間的關(guān)系以及運轉(zhuǎn)機制。

數(shù)據(jù)中臺的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來，通過數(shù)據(jù)中臺提供的工具、方法和運行機制，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。下圖所示為數(shù)據(jù)中臺總體架構(gòu)圖，數(shù)據(jù)中臺是在底層存儲計算平臺與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。數(shù)據(jù)中臺屏蔽掉底層存儲平臺的計算技術(shù)復(fù)雜性，降低對技術(shù)人才的需求，讓數(shù)據(jù)的使用成本更低。通過數(shù)據(jù)中臺的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力，服務(wù)于企業(yè)業(yè)務(wù)。數(shù)據(jù)安全體系、數(shù)據(jù)運營體系保障數(shù)據(jù)中臺可以長期健康、持續(xù)運轉(zhuǎn)。

數(shù)據(jù)中臺總體架構(gòu)圖

數(shù)據(jù)匯聚

數(shù)據(jù)匯聚是數(shù)據(jù)中臺數(shù)據(jù)接入的入口。數(shù)據(jù)中臺本身幾乎不產(chǎn)生數(shù)據(jù)，所有數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等，這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存儲平臺中，難以利用，很難產(chǎn)生業(yè)務(wù)價值。數(shù)據(jù)匯聚是數(shù)據(jù)中臺必須提供的核心工具，把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺進(jìn)行集中存儲，為后續(xù)的加工建模做準(zhǔn)備。數(shù)據(jù)匯聚方式一般有數(shù)據(jù)庫同步、埋點、網(wǎng)絡(luò)爬蟲、消息隊列等；從匯聚的時效性來分，有離線批量匯聚和實時采集。

數(shù)據(jù)開發(fā)

通過數(shù)據(jù)匯聚模塊匯聚到中臺的數(shù)據(jù)，沒有經(jīng)過什么處理，基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的，這樣業(yè)務(wù)還是很難使用。數(shù)據(jù)開發(fā)是一整套數(shù)據(jù)加工以及加工過程管控的工具，有經(jīng)驗的數(shù)據(jù)開發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能，可以快速把數(shù)據(jù)加工成對業(yè)務(wù)有價值的形式，提供給業(yè)務(wù)使用。數(shù)據(jù)開發(fā)模塊主要是面向開發(fā)、分析人員，提供離線、實時、算法開發(fā)工具以及任務(wù)的管理、代碼發(fā)布、運維、監(jiān)控、告警等一些列集成工具，方便使用，提升效率。

數(shù)據(jù)資產(chǎn)體系

有了數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊，中臺已經(jīng)具備傳統(tǒng)數(shù)倉平臺的基本能力，可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開發(fā)，就可以建立企業(yè)的數(shù)據(jù)資產(chǎn)體系。之前說數(shù)據(jù)資產(chǎn)體系是中臺的血肉，開發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時代，數(shù)據(jù)量大，增長快，業(yè)務(wù)對數(shù)據(jù)的依賴也會越來越高，必須考慮數(shù)據(jù)的一致性和可復(fù)用性，垂直煙囪式的數(shù)據(jù)和數(shù)據(jù)服務(wù)的建設(shè)方式注定不能長久存在。不同的企業(yè)因業(yè)務(wù)不同導(dǎo)致數(shù)據(jù)不同，數(shù)據(jù)建設(shè)的內(nèi)容也是不同的，但是建設(shè)方法可以相似，數(shù)據(jù)要統(tǒng)一建設(shè)，筆者建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)。

數(shù)據(jù)資產(chǎn)管理

通過數(shù)據(jù)資產(chǎn)體系建立起來的數(shù)據(jù)資產(chǎn)還是一套偏技術(shù)的數(shù)據(jù)體系，業(yè)務(wù)人員比較難理解。資產(chǎn)管理是以企業(yè)全員更好理解的方式，把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員（當(dāng)然要考慮權(quán)限和安全管控），數(shù)據(jù)資產(chǎn)管理包括對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示，以一種更直觀的方式展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，提升企業(yè)的數(shù)據(jù)意識。

數(shù)據(jù)服務(wù)體系

前面利用數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)建設(shè)企業(yè)數(shù)據(jù)資產(chǎn)，利用數(shù)據(jù)管理展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，但是并沒有發(fā)揮數(shù)據(jù)的價值。數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，通過數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)，激活整個數(shù)據(jù)中臺，數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺存在的價值所在。企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的，中臺產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù)，但是很難滿足企業(yè)的服務(wù)訴求，大部分服務(wù)還是需要通過中臺的能力快速定制。數(shù)據(jù)中臺的服務(wù)模塊并沒有自帶很多服務(wù)，而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計量等功能。

運營體系和安全體系

通過前面的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、資產(chǎn)管理、數(shù)據(jù)服務(wù)，已經(jīng)完成了整個數(shù)據(jù)中臺的搭建和建設(shè)，也已經(jīng)在業(yè)務(wù)中發(fā)揮一定的價值。運營體系和安全體系是數(shù)據(jù)中臺得以健康、持續(xù)運轉(zhuǎn)的基礎(chǔ)，如果沒有它們，數(shù)據(jù)中臺很可能像個一般項目一樣，一期搭建起平臺、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個應(yīng)用場景之后而止步，無法正常地持續(xù)運營，不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價值。這也就完全達(dá)不到建設(shè)數(shù)據(jù)中臺的目標(biāo)。