元數(shù)據(jù)管理

1 為什么需要數(shù)據(jù)治理?

  • 通過數(shù)據(jù)治理實現(xiàn)企業(yè)數(shù)據(jù)的標準化、提高數(shù)據(jù)質(zhì)量、提升業(yè)務(wù)處理的效率,為數(shù)據(jù)分析提供準確的數(shù)據(jù)支撐,賦能業(yè)務(wù),助力企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。


    大數(shù)據(jù)的數(shù)據(jù)管理

2 數(shù)據(jù)治理的本質(zhì)

  • 數(shù)據(jù)要產(chǎn)生價值,需要一個合理的“業(yè)務(wù)目標”,數(shù)據(jù)治理的所有活動應(yīng)該圍繞真實的業(yè)務(wù)目標而開展,建立數(shù)據(jù)標準、提升數(shù)據(jù)質(zhì)量只是手段,而不是目標。因此數(shù)據(jù)治理的第一步不是分析數(shù)據(jù)問題,而是分析業(yè)務(wù)問題,找到企業(yè)的核心業(yè)務(wù)訴求,定義數(shù)據(jù)治理的目標和范圍

3 數(shù)據(jù)治理架構(gòu)

DAMA-DMBOK2.0 數(shù)據(jù)管理車輪圖
  • 在DAMA 數(shù)據(jù)管理知識體系指南中,數(shù)據(jù)治理位于數(shù)據(jù)管理“車輪圖”的正中央,是數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)存儲、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理等10大數(shù)據(jù)管理領(lǐng)域的總綱,為各項數(shù)據(jù)管理活動提供總體指導(dǎo)策略。

4 數(shù)據(jù)治理的數(shù)據(jù)管理 - 元數(shù)據(jù)

  • 元數(shù)據(jù)分類 支持對元數(shù)據(jù)進行分類管理,例如個人信息,敏感信息等
  • 元數(shù)據(jù)檢索 可按照元數(shù)據(jù)類型、元數(shù)據(jù)分類進行檢索,支持全文檢索
  • 血緣依賴 支持表到表和字段到字段之間的血緣依賴,便于進行問題回溯和影響分析等
  • Apache Atlas為組織提供開放式元數(shù)據(jù)管理和治理功能,用以構(gòu)建其數(shù)據(jù)資產(chǎn)目錄,對這些資產(chǎn)進行分類和管理,并為數(shù)據(jù)分析師和數(shù)據(jù)治理團隊,提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。
4.1 Atlas架構(gòu)
Atlas架構(gòu)
4.2 元數(shù)據(jù)分析
血緣依賴
  • 影響分析
    元數(shù)據(jù)影響性分析指的是評估數(shù)據(jù)變更對數(shù)據(jù)應(yīng)用的影響。影響性分析能幫助用戶迅速了解分析當(dāng)前元數(shù)據(jù)對象的下游數(shù)據(jù)信息,快速識別元數(shù)據(jù)的價值,掌握元數(shù)據(jù)變更可能造成的影響,以便更有效的評估變化帶來的風(fēng)險。
  • 血緣分析:
    血緣分析是建立在元數(shù)據(jù)整合的基礎(chǔ)上,記錄數(shù)據(jù)治理過程中的血緣關(guān)系,基于這些血緣關(guān)系信息,可以進行以數(shù)據(jù)流向為主線的血緣追溯功能,可以一直追溯到數(shù)據(jù)的產(chǎn)生。
  • 血緣分析的輸出結(jié)果包括回溯過程中所找到的所有相關(guān)元數(shù)據(jù)對象,以及這些元數(shù)據(jù)對象之間的關(guān)系。這些元數(shù)據(jù)對象可能是指標、接口文件、報表、數(shù)據(jù)庫表、數(shù)據(jù)庫視圖、數(shù)據(jù)立方體實體、數(shù)據(jù)處理過程和數(shù)據(jù)源接口等。
  • 數(shù)據(jù)資產(chǎn)地圖
    大數(shù)據(jù)平臺內(nèi)的元數(shù)據(jù)種類繁多、形式各異,元數(shù)據(jù)查詢、血緣分析、影響性分析等功能,是面向元數(shù)據(jù)細節(jié)信息的使用需求,更適用于具體的人員,各部門基于元數(shù)據(jù)開展相關(guān)工作,對于領(lǐng)導(dǎo)、管理人員等高層用戶,由于關(guān)注層次更高,范圍更廣泛,大量的細節(jié)信息不能有效的滿足該類用戶的需要。
4.3 元數(shù)據(jù)分類管理
元數(shù)據(jù)分類與檢索
  • 元數(shù)據(jù)查詢
    自助式元數(shù)據(jù)查詢?yōu)橛脩籼峁┲庇^簡潔的界面,用戶根據(jù)自定義搜索條件,查詢符合該用戶訪問權(quán)限的所有元數(shù)據(jù)信息,以列表的形式展現(xiàn)出來,支持模糊查詢
  • 元數(shù)據(jù)統(tǒng)計
    用于統(tǒng)計各類元數(shù)據(jù)的數(shù)量,如各部門提供的各類數(shù)據(jù)的種類,各部門數(shù)據(jù)被使用的冷、熱度等,方便用戶掌握大數(shù)據(jù)平臺中元數(shù)據(jù)的匯總信息。元數(shù)據(jù)統(tǒng)計的展現(xiàn)方式有報表,圖形等直觀的方式。
  • 元數(shù)據(jù)版本管理
    元數(shù)據(jù)版本管理用于管理元數(shù)據(jù)的版本發(fā)布,以及基于版本的元數(shù)據(jù)查看、比對等操作,通過版本管理功能,用戶可以更清晰了解元數(shù)據(jù)的版本變更歷史,掌握元數(shù)據(jù)生命周期,提升了后續(xù)使用元數(shù)據(jù)的可靠性。
  • 元數(shù)據(jù)變更管理
    主要是在線對元數(shù)據(jù)進行變更,如對屬性值進行修改,對變更歷史和變更明細進行查詢,對變更前后進行差異比對。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容