數(shù)據(jù)很多,但真正能產(chǎn)生價值的數(shù)據(jù)卻很少。數(shù)據(jù)普遍存在分散、不拉通的問題,缺乏統(tǒng)一的定義和架構(gòu),找到想要的、能用的數(shù)據(jù)越來越難。
詳細說明華為如何通過數(shù)據(jù)湖和數(shù)據(jù)主題聯(lián)接的建設(shè),實現(xiàn)數(shù)據(jù)的匯聚和聯(lián)接,打破數(shù)據(jù)孤島和壟斷,重建數(shù)據(jù)獲取方式和次序。數(shù)據(jù)底座在華為數(shù)字化轉(zhuǎn)型中起著關(guān)鍵作用。
華為通過建設(shè)數(shù)據(jù)底座,將公司內(nèi)外部的數(shù)據(jù)匯聚在一起,對數(shù)據(jù)進行重新組織和聯(lián)接,讓數(shù)據(jù)有清晰的定義和統(tǒng)一的結(jié)構(gòu),并在尊重數(shù)據(jù)安全與隱私的前提下,讓數(shù)據(jù)更易獲取,最終打破數(shù)據(jù)孤島和壟斷。通過數(shù)據(jù)底座,主要可以實現(xiàn)如下目標。
1)統(tǒng)一管理結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。將數(shù)據(jù)視為資產(chǎn),能夠追溯數(shù)據(jù)的產(chǎn)生者、業(yè)務(wù)源頭以及數(shù)據(jù)的需求方和消費者等。
2)打通數(shù)據(jù)供應(yīng)通道,為數(shù)據(jù)消費提供豐富的數(shù)據(jù)原材料、半成品以及成品,滿足公司自助分析、數(shù)字化運營等不同場景的數(shù)據(jù)消費需求。
3)確保公司數(shù)據(jù)完整、一致、共享。監(jiān)控數(shù)據(jù)全鏈路下的各個環(huán)節(jié)的數(shù)據(jù)情況,從底層數(shù)據(jù)存儲的角度,診斷數(shù)據(jù)冗余、重復(fù)以及“僵尸”問題,降低數(shù)據(jù)維護和使用成本。
4)保障數(shù)據(jù)安全可控?;跀?shù)據(jù)安全管理策略,利用數(shù)據(jù)權(quán)限控制,通過數(shù)據(jù)服務(wù)封裝等技術(shù)手段,實現(xiàn)對涉密數(shù)據(jù)和隱私數(shù)據(jù)的合法、合規(guī)地消費。
華為數(shù)據(jù)底座由數(shù)據(jù)湖、數(shù)據(jù)主題聯(lián)接兩層組成,將公司內(nèi)外部的數(shù)據(jù)匯聚到一起,并對數(shù)據(jù)進行重新的組織和聯(lián)接,為業(yè)務(wù)可視化、分析、決策等提供數(shù)據(jù)服務(wù)。

數(shù)據(jù)湖是邏輯上各種原始數(shù)據(jù)的集合,除了“原始”這一特征外,還具有“海量”和“多樣”(包含結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù))的特征。數(shù)據(jù)湖保留數(shù)據(jù)的原格式,原則上不對數(shù)據(jù)進行清洗、加工,但對于數(shù)據(jù)資產(chǎn)多源異構(gòu)的場景需要整合處理,并進行數(shù)據(jù)資產(chǎn)注冊。
數(shù)據(jù)入湖必須要遵循6項標準,共同滿足數(shù)據(jù)聯(lián)接和用戶數(shù)據(jù)消費需求。
數(shù)據(jù)主題聯(lián)接是對數(shù)據(jù)湖的數(shù)據(jù)按業(yè)務(wù)流/事件、對象/主體進行聯(lián)接和規(guī)則計算等處理,形成面向數(shù)據(jù)消費的主題數(shù)據(jù),具有多角度、多層次、多粒度等特征,支撐業(yè)務(wù)分析、決策與執(zhí)行?;诓煌臄?shù)據(jù)消費訴求,主要有多維模型、圖模型、指標、標簽、算法模型5種數(shù)據(jù)聯(lián)接方式。
華為數(shù)據(jù)底座采取“統(tǒng)籌推動、以用促建、急用先行”的建設(shè)策略。
數(shù)據(jù)底座資產(chǎn)建設(shè)遵從下面四項原則。
1)數(shù)據(jù)安全原則
數(shù)據(jù)底座數(shù)據(jù)資產(chǎn)應(yīng)遵循用戶權(quán)限、數(shù)據(jù)密級、隱私級別等管理要求,以確保數(shù)據(jù)在存儲、傳輸、消費等全過程中的數(shù)據(jù)安全。技術(shù)手段包括但不限于授權(quán)管理、權(quán)限控制、數(shù)據(jù)加密、數(shù)據(jù)脫敏。
2)需求、規(guī)劃雙輪驅(qū)動原則
數(shù)據(jù)底座數(shù)據(jù)資產(chǎn)基于業(yè)務(wù)規(guī)劃和需求觸發(fā)雙驅(qū)動的原則進行建設(shè),對核心數(shù)據(jù)資產(chǎn)優(yōu)先建設(shè)。
3)數(shù)據(jù)供應(yīng)多場景原則
數(shù)據(jù)底座資產(chǎn)供應(yīng)需根據(jù)業(yè)務(wù)需求提供離線/實時、物理/虛擬等不同的數(shù)據(jù)供應(yīng)通道,滿足不同的數(shù)據(jù)消費場景。
4)信息架構(gòu)遵從原則
數(shù)據(jù)底座數(shù)據(jù)資產(chǎn)應(yīng)遵從公司的信息架構(gòu),必須經(jīng)IA-SAG(信息架構(gòu)專家組)發(fā)布并完成注冊。