1 為什么需要數(shù)據(jù)治理?
-
通過數(shù)據(jù)治理實現(xiàn)企業(yè)數(shù)據(jù)的標準化、提高數(shù)據(jù)質(zhì)量、提升業(yè)務(wù)處理的效率,為數(shù)據(jù)分析提供準確的數(shù)據(jù)支撐,賦能業(yè)務(wù),助力企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。
大數(shù)據(jù)的數(shù)據(jù)管理
2 數(shù)據(jù)治理的本質(zhì)
- 數(shù)據(jù)要產(chǎn)生價值,需要一個合理的“業(yè)務(wù)目標”,數(shù)據(jù)治理的所有活動應(yīng)該圍繞真實的業(yè)務(wù)目標而開展,建立數(shù)據(jù)標準、提升數(shù)據(jù)質(zhì)量只是手段,而不是目標。因此數(shù)據(jù)治理的第一步不是分析數(shù)據(jù)問題,而是分析業(yè)務(wù)問題,找到企業(yè)的核心業(yè)務(wù)訴求,定義數(shù)據(jù)治理的目標和范圍。
3 數(shù)據(jù)治理架構(gòu)
DAMA-DMBOK2.0 數(shù)據(jù)管理車輪圖
- 在DAMA 數(shù)據(jù)管理知識體系指南中,數(shù)據(jù)治理位于數(shù)據(jù)管理“車輪圖”的正中央,是數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)存儲、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理等10大數(shù)據(jù)管理領(lǐng)域的總綱,為各項數(shù)據(jù)管理活動提供總體指導(dǎo)策略。
4 數(shù)據(jù)治理的數(shù)據(jù)管理 - 元數(shù)據(jù)
- 元數(shù)據(jù)分類 支持對元數(shù)據(jù)進行分類管理,例如個人信息,敏感信息等
- 元數(shù)據(jù)檢索 可按照元數(shù)據(jù)類型、元數(shù)據(jù)分類進行檢索,支持全文檢索
- 血緣依賴 支持表到表和字段到字段之間的血緣依賴,便于進行問題回溯和影響分析等
- Apache Atlas為組織提供開放式元數(shù)據(jù)管理和治理功能,用以構(gòu)建其數(shù)據(jù)資產(chǎn)目錄,對這些資產(chǎn)進行分類和管理,并為數(shù)據(jù)分析師和數(shù)據(jù)治理團隊,提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。
4.1 Atlas架構(gòu)
Atlas架構(gòu)
4.2 元數(shù)據(jù)分析
血緣依賴
- 影響分析
元數(shù)據(jù)影響性分析指的是評估數(shù)據(jù)變更對數(shù)據(jù)應(yīng)用的影響。影響性分析能幫助用戶迅速了解分析當(dāng)前元數(shù)據(jù)對象的下游數(shù)據(jù)信息,快速識別元數(shù)據(jù)的價值,掌握元數(shù)據(jù)變更可能造成的影響,以便更有效的評估變化帶來的風(fēng)險。 - 血緣分析:
血緣分析是建立在元數(shù)據(jù)整合的基礎(chǔ)上,記錄數(shù)據(jù)治理過程中的血緣關(guān)系,基于這些血緣關(guān)系信息,可以進行以數(shù)據(jù)流向為主線的血緣追溯功能,可以一直追溯到數(shù)據(jù)的產(chǎn)生。 - 血緣分析的輸出結(jié)果包括回溯過程中所找到的所有相關(guān)元數(shù)據(jù)對象,以及這些元數(shù)據(jù)對象之間的關(guān)系。這些元數(shù)據(jù)對象可能是指標、接口文件、報表、數(shù)據(jù)庫表、數(shù)據(jù)庫視圖、數(shù)據(jù)立方體實體、數(shù)據(jù)處理過程和數(shù)據(jù)源接口等。
- 數(shù)據(jù)資產(chǎn)地圖
大數(shù)據(jù)平臺內(nèi)的元數(shù)據(jù)種類繁多、形式各異,元數(shù)據(jù)查詢、血緣分析、影響性分析等功能,是面向元數(shù)據(jù)細節(jié)信息的使用需求,更適用于具體的人員,各部門基于元數(shù)據(jù)開展相關(guān)工作,對于領(lǐng)導(dǎo)、管理人員等高層用戶,由于關(guān)注層次更高,范圍更廣泛,大量的細節(jié)信息不能有效的滿足該類用戶的需要。
4.3 元數(shù)據(jù)分類管理
元數(shù)據(jù)分類與檢索
- 元數(shù)據(jù)查詢
自助式元數(shù)據(jù)查詢?yōu)橛脩籼峁┲庇^簡潔的界面,用戶根據(jù)自定義搜索條件,查詢符合該用戶訪問權(quán)限的所有元數(shù)據(jù)信息,以列表的形式展現(xiàn)出來,支持模糊查詢 - 元數(shù)據(jù)統(tǒng)計
用于統(tǒng)計各類元數(shù)據(jù)的數(shù)量,如各部門提供的各類數(shù)據(jù)的種類,各部門數(shù)據(jù)被使用的冷、熱度等,方便用戶掌握大數(shù)據(jù)平臺中元數(shù)據(jù)的匯總信息。元數(shù)據(jù)統(tǒng)計的展現(xiàn)方式有報表,圖形等直觀的方式。 - 元數(shù)據(jù)版本管理
元數(shù)據(jù)版本管理用于管理元數(shù)據(jù)的版本發(fā)布,以及基于版本的元數(shù)據(jù)查看、比對等操作,通過版本管理功能,用戶可以更清晰了解元數(shù)據(jù)的版本變更歷史,掌握元數(shù)據(jù)生命周期,提升了后續(xù)使用元數(shù)據(jù)的可靠性。 - 元數(shù)據(jù)變更管理
主要是在線對元數(shù)據(jù)進行變更,如對屬性值進行修改,對變更歷史和變更明細進行查詢,對變更前后進行差異比對。