穿越數(shù)據(jù)的迷宮,數(shù)據(jù)管理執(zhí)行指南


穿越數(shù)據(jù)的迷宮

背景:

本書作為DAMA的伴侶,力圖通過簡單精要的語言描述DAMA數(shù)據(jù)管理體系,為數(shù)據(jù)從業(yè)人員提供案邊手冊,本文再度進行精煉,力圖通過一文為不懂數(shù)據(jù)管理的人員了解數(shù)據(jù)管理概念,以作為DAMA體系解析的開篇。接下來的拆書,我將不按照原本的邏輯,而是透過問題看本質(zhì),按照數(shù)據(jù)知識體系的邏輯進行講解。對于內(nèi)容有疑問,歡迎積極留言討論。

一家企業(yè)是以意識到數(shù)據(jù)的重要性 為戰(zhàn)略規(guī)劃起點的,我們叫做數(shù)據(jù)意識覺醒,所以數(shù)據(jù)管理的前提是公司決策高層的堅定支持和理解。數(shù)據(jù)管理(DM)和數(shù)據(jù)治理(DG)的概念在大部分情況下都模糊不清,DAMA體系里數(shù)據(jù)管理是大于數(shù)據(jù)治理的,數(shù)據(jù)治理只是數(shù)據(jù)管理的一個行為子集。

問題導(dǎo)向:

如果公司高層有了數(shù)據(jù)意識覺醒,交給你一個數(shù)據(jù)管理或者數(shù)據(jù)治理的任務(wù),我們應(yīng)該怎么做?

首先需要了解數(shù)據(jù)管理的概念,數(shù)據(jù)的特性決定了做數(shù)據(jù)管理是一個系統(tǒng)工程,需要有科學的方法論體系,建議你參考DAMA;其次需要評估組織數(shù)據(jù)管理的現(xiàn)狀,參照數(shù)據(jù)管理成熟度模型進行;然后基于評估結(jié)果制定PDCA計劃;最后需要啟動組織變更,目的是支撐數(shù)據(jù)管理實施的路線圖。

如何評估數(shù)據(jù)管理水平:

數(shù)據(jù)管理成熟度模型定義了5個層級:

數(shù)據(jù)管理成熟度模型

等級一:初始級。組織沒有意識到數(shù)據(jù)的重要性,數(shù)據(jù)需求的管理主要是在項目級來體現(xiàn),沒有統(tǒng)一的數(shù)據(jù)管理流程,存在大量的數(shù)據(jù)孤島,經(jīng)常由于數(shù)據(jù)的問題導(dǎo)致低下的客戶服務(wù)質(zhì)量、繁重的人工維護工作等。

等級二:受管理級。組織已經(jīng)意識到數(shù)據(jù)是資產(chǎn),根據(jù)管理策略的要求制定了管理流程,指定了相關(guān)人員進行初步的管理,并且識別了與數(shù)據(jù)管理、應(yīng)用相關(guān)的干系人。

等級三:穩(wěn)健級。數(shù)據(jù)已經(jīng)被當作實現(xiàn)組織績效目標的重要資產(chǎn),在組織層面制定了系列的標準化管理流程以促進數(shù)據(jù)管理的規(guī)范化,數(shù)據(jù)的管理者可以快速地滿足跨多個業(yè)務(wù)系統(tǒng)、準確、一致的數(shù)據(jù)要求,有詳細的數(shù)據(jù)需求響應(yīng)處理規(guī)范、流程。

等級四:量化管理級。數(shù)據(jù)被認為是獲取競爭優(yōu)勢的重要資源,組織認識到數(shù)據(jù)在流程優(yōu)化、工作效率提升等方面的作用,針對數(shù)據(jù)管理方面的流程進行全面的優(yōu)化,針對數(shù)據(jù)管理的崗位進行關(guān)鍵績效指標(key performance indicator,KPI)的考核,規(guī)范和加強數(shù)據(jù)相關(guān)的管理工作,并且根據(jù)過程的監(jiān)控和分析對整體的數(shù)據(jù)管理制度和流程進行優(yōu)化。

等級五:優(yōu)化級。數(shù)據(jù)被認為是組織生存的基礎(chǔ),相關(guān)管理流程能夠?qū)崟r優(yōu)化,能夠在行業(yè)內(nèi)進行最佳實踐的分享。

如何做數(shù)據(jù)管理?

本書的重點是介紹數(shù)據(jù)管理的概念,后面我們將各個章節(jié)融合到DAMA數(shù)據(jù)體系去講解,你將可以參考DAMA去深入數(shù)據(jù)管理。

數(shù)據(jù)無處不在,是企業(yè)的資產(chǎn);數(shù)據(jù)是一種有價值的資產(chǎn),但也隱含著風險。低質(zhì)量的數(shù)據(jù)帶來損耗,高質(zhì)量的數(shù)據(jù)帶來收益。,但需要將技術(shù)管理和數(shù)據(jù)管理分開。數(shù)據(jù)管理的挑戰(zhàn)首先是由數(shù)據(jù)資產(chǎn)的特性決定的,數(shù)據(jù)資產(chǎn)不可觸摸、持久的、不會被消耗,但在使用的時候有被盜的風險;容易被拷貝和遷移,但是如果丟失或被破壞,將不可再生;數(shù)據(jù)是動態(tài)的,可以在同一時刻被多人使用。以上特性造成數(shù)據(jù)管理的難度:(1)難以盤點組織有多少數(shù)據(jù)資產(chǎn);(2)很難定義數(shù)據(jù)的所有權(quán)和責任;(3)很難防止濫用數(shù)據(jù);(4)數(shù)據(jù)風險管理很難;(5)很難定義和執(zhí)行統(tǒng)一的數(shù)據(jù)質(zhì)量標準;

數(shù)據(jù)管理需要站在企業(yè)全局的視角去規(guī)劃、協(xié)同和技術(shù)實現(xiàn),數(shù)據(jù)管理的核心是管理數(shù)據(jù)的生命周期,專注于數(shù)據(jù)的產(chǎn)生、遷移和維護的全過程,數(shù)據(jù)有不同的分類規(guī)則,不同類型的數(shù)據(jù)又會有不同的生命周期需求,但也有共性的規(guī)則如下:(1)在數(shù)據(jù)生命周期中,數(shù)據(jù)的產(chǎn)生和使用是最主要的關(guān)鍵點;(2)數(shù)據(jù)質(zhì)量管理必須貫穿數(shù)據(jù)生命周期的全過程;(3)元數(shù)據(jù)管理必須貫穿數(shù)據(jù)生命周期全過程;(4)數(shù)據(jù)安全管理必須貫穿數(shù)據(jù)生命周期全過程;(5)數(shù)據(jù)管理應(yīng)該專注于最關(guān)鍵的數(shù)據(jù);

DAMA數(shù)據(jù)管理的原則如下:

DAMA數(shù)據(jù)管理原則

數(shù)據(jù)管理的11大知識領(lǐng)域:

DAMA數(shù)據(jù)管理包括11個知識領(lǐng)域和3大主題域,全景視圖如下:


數(shù)據(jù)管理全局視圖

數(shù)據(jù)管理11個知識域如下:

數(shù)據(jù)治理:依據(jù)組織的整體需求,通過建立數(shù)據(jù)決策的權(quán)限和責任,為數(shù)據(jù)管理活動和職能提供整體的指導(dǎo)和監(jiān)督;

數(shù)據(jù)架構(gòu):基于組織的戰(zhàn)略目標,建立符合戰(zhàn)略需求的數(shù)據(jù)架構(gòu);

數(shù)據(jù)建模和設(shè)計:探索、分析、表示和溝通數(shù)據(jù)需求的一個過程,最后輸出數(shù)據(jù)模型;

數(shù)據(jù)存儲和操作:包括數(shù)據(jù)存儲的設(shè)計、實施和支持,目的是達到利益最大化;該活動貫穿數(shù)據(jù)的整個生命周期——從數(shù)據(jù)規(guī)劃到數(shù)據(jù)消除;

數(shù)據(jù)安全:確保數(shù)據(jù)隱私和安全;

數(shù)據(jù)整合與互操作性(翻譯錯誤,應(yīng)該為集成與交換):包括存在于不同數(shù)據(jù)系統(tǒng)、應(yīng)用程序和組織之內(nèi),以及組織之間的數(shù)據(jù)遷移和集成等;

文檔和內(nèi)容管理:通過PDCA活動,來管理那些存儲于非結(jié)構(gòu)化介質(zhì)中的數(shù)據(jù)和它們的生命周期,甚至是那些與法律及合規(guī)性相關(guān)的文件的管理;

參考數(shù)據(jù)(翻譯錯誤,應(yīng)該為字典數(shù)據(jù))和主數(shù)據(jù)管理:對核心關(guān)鍵共享數(shù)據(jù)的持續(xù)更新和維護,以便得到最準確、及時并和基礎(chǔ)業(yè)務(wù)相關(guān)的數(shù)據(jù);

數(shù)據(jù)倉庫和商務(wù)智能:通過PDCA活動,為管理決策提供數(shù)據(jù)量化的支持,使相關(guān)工作人員能夠通過數(shù)據(jù)分析和數(shù)據(jù)報告獲取價值;

元數(shù)據(jù)管理:通過PDCA活動,支持訪問高質(zhì)量的元數(shù)據(jù)集,包括定義、模型、數(shù)據(jù)流和其他對理解數(shù)據(jù)及其創(chuàng)建、維護和訪問至關(guān)重要的信息;

數(shù)據(jù)質(zhì)量管理:包括規(guī)劃和實施質(zhì)量管理技術(shù),以衡量、評估和改善組織使用的數(shù)據(jù);

數(shù)據(jù)管理的三大核心領(lǐng)域:

DAMA數(shù)據(jù)管理的三大核心領(lǐng)域:數(shù)據(jù)治理、數(shù)據(jù)生命周期管理、數(shù)據(jù)的基礎(chǔ)活動;

數(shù)據(jù)治理活動:

數(shù)據(jù)治理需要EMT領(lǐng)導(dǎo)層的承諾和投入,是一項持續(xù)性的工作,貫穿整個數(shù)據(jù)管理的生命周期,通過闡明戰(zhàn)略、建立框架、制定方針及實現(xiàn)數(shù)據(jù)共享,為其他數(shù)據(jù)管理職能提供指導(dǎo)和監(jiān)督;數(shù)據(jù)治理是實現(xiàn)業(yè)務(wù)目標的一種手段,本身不是目的;通過將獲得和行為與數(shù)據(jù)管理原則相結(jié)合,來支持組織的業(yè)務(wù)戰(zhàn)略,應(yīng)對數(shù)據(jù)管理的挑戰(zhàn)。

一個成功的數(shù)據(jù)治理項目將:1.建立符合并支持業(yè)務(wù)戰(zhàn)略的數(shù)據(jù)治理戰(zhàn)略;2.基于數(shù)據(jù)管理原則,制定和執(zhí)行相關(guān)行動計劃;3.設(shè)置數(shù)據(jù)質(zhì)量標準;4.提供關(guān)鍵數(shù)據(jù)的管理;5.確保組織遵守和數(shù)據(jù)相關(guān)的法規(guī);6.管理那些與數(shù)據(jù)和治理的各方面相關(guān)的問題。

數(shù)據(jù)的生命周期管理:

規(guī)劃與設(shè)計:

企業(yè)數(shù)據(jù)架構(gòu)描述如何組織和管理數(shù)據(jù),由數(shù)據(jù)架構(gòu)師、建模師和數(shù)據(jù)管理專員負責,負責管理業(yè)務(wù)架構(gòu)創(chuàng)建和要求的數(shù)據(jù),包括數(shù)據(jù)模型、數(shù)據(jù)定義、數(shù)據(jù)映射規(guī)范、數(shù)據(jù)流、結(jié)構(gòu)化數(shù)據(jù)API;

數(shù)據(jù)架構(gòu)的核心是數(shù)據(jù)模型(數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)規(guī)范)和數(shù)據(jù)流設(shè)計。數(shù)據(jù)建模是發(fā)現(xiàn)、分析和界定數(shù)據(jù)需求的過程,然后以數(shù)據(jù)模型的文檔準確表示和傳遞這些數(shù)據(jù)需求:

目標:描述結(jié)構(gòu)、范圍定義,然后進行文檔化;

如何做:5w1h描述實體,描述實體關(guān)系,定義屬性,定義值域;

數(shù)據(jù)操作與維護:


DW/BI和大數(shù)據(jù)概念架構(gòu)

(1)數(shù)據(jù)存儲與操作:DBA確保數(shù)據(jù)引擎正常運行;

(2)數(shù)據(jù)集成與交換;

(3)數(shù)據(jù)倉庫:

數(shù)據(jù)倉庫建設(shè)理論有2個核心流派,而在實際假設(shè)過程中需要選擇性予以參考和綜合,無需完全參考理論。

Bill Inmon:面向主題的、集成的、反映歷史變化的、相對穩(wěn)定的數(shù)據(jù)集和,以支持管理層的決策過程。

Bill Inmon理論

Ralph Kimball:專門為查詢和分析構(gòu)建的交易數(shù)據(jù)的副本。


Kimball理論

(4)字典管理;

(5)主數(shù)據(jù)管理:

主數(shù)據(jù)管理是一個全數(shù)據(jù)生命周期的過程,不僅在MDM系統(tǒng)中管理,還必須可供其他系統(tǒng)和流程使用,依靠能夠共享和反饋數(shù)據(jù)的技術(shù),還需要可備份。主數(shù)據(jù)管理的核心業(yè)務(wù)邏輯:1.確定主數(shù)據(jù)源;2.建立精確匹配和合并實體實例的規(guī)則;3.建立識別和恢復(fù)不恰當適配與合并數(shù)據(jù)的方法;4.建立向整個企業(yè)系統(tǒng)分發(fā)可信數(shù)據(jù)的方法;

(6)文檔與內(nèi)容管理;

(7)大數(shù)據(jù)存儲;

數(shù)據(jù)使用和數(shù)據(jù)科學:

(1)主數(shù)據(jù)的使用;

(2)商務(wù)智能;

(3)數(shù)據(jù)科學:是指開發(fā)預(yù)測模型的過程,數(shù)據(jù)分析師使用科學的方法(觀察、假設(shè)、實驗、分析和給出結(jié)論)來開發(fā)和評估分析模型或預(yù)測模型;

(4)預(yù)測性分析;

(5)數(shù)據(jù)可視化;

(6)數(shù)據(jù)貨幣化;

數(shù)據(jù)管理的基礎(chǔ)活動:

數(shù)據(jù)保護、隱私、安全和風險管理;

元數(shù)據(jù)管理:管理“數(shù)據(jù)的數(shù)據(jù)”,是數(shù)據(jù)管理的基礎(chǔ);

數(shù)據(jù)質(zhì)量管理:

規(guī)范的數(shù)據(jù)質(zhì)量管理主要包括:

(1)通過數(shù)據(jù)質(zhì)量DQ標準、規(guī)則和需求來定義高質(zhì)量的數(shù)據(jù);

(2)對照已制定的相關(guān)標準評估數(shù)據(jù),并向利益相關(guān)方通報評估結(jié)果;

(3)對應(yīng)用中的數(shù)據(jù)和數(shù)據(jù)存儲進行監(jiān)控和報告;

(4)識別問題并提出改進意見。

數(shù)據(jù)質(zhì)量提升周期:PDCA;數(shù)據(jù)質(zhì)量的保障需要堅定的領(lǐng)導(dǎo)層;

收獲:

通過本文,你將了解如果你的企業(yè)需要做數(shù)據(jù)管理或數(shù)據(jù)治理,你應(yīng)該從熟悉DAMA體系開始,獲取公司高層的堅定支持,通過指導(dǎo)合理評估數(shù)據(jù)管理現(xiàn)狀,基于評估制定改進計劃,從方法論落地到實際數(shù)據(jù)管理。本文講解了數(shù)據(jù)管理的11大知識領(lǐng)域和3大核心業(yè)務(wù)領(lǐng)域,以最簡的內(nèi)容快速解析數(shù)據(jù)管理核心內(nèi)容,從全局上為數(shù)據(jù)管理 以及 數(shù)據(jù)治理 進行導(dǎo)航。針對原書中的翻譯的不妥之處進行了改進,如有疑問,歡迎留言討論。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容