
背景:
本書作為DAMA的伴侶,力圖通過簡單精要的語言描述DAMA數(shù)據(jù)管理體系,為數(shù)據(jù)從業(yè)人員提供案邊手冊,本文再度進行精煉,力圖通過一文為不懂數(shù)據(jù)管理的人員了解數(shù)據(jù)管理概念,以作為DAMA體系解析的開篇。接下來的拆書,我將不按照原本的邏輯,而是透過問題看本質(zhì),按照數(shù)據(jù)知識體系的邏輯進行講解。對于內(nèi)容有疑問,歡迎積極留言討論。
一家企業(yè)是以意識到數(shù)據(jù)的重要性 為戰(zhàn)略規(guī)劃起點的,我們叫做數(shù)據(jù)意識覺醒,所以數(shù)據(jù)管理的前提是公司決策高層的堅定支持和理解。數(shù)據(jù)管理(DM)和數(shù)據(jù)治理(DG)的概念在大部分情況下都模糊不清,DAMA體系里數(shù)據(jù)管理是大于數(shù)據(jù)治理的,數(shù)據(jù)治理只是數(shù)據(jù)管理的一個行為子集。
問題導(dǎo)向:
如果公司高層有了數(shù)據(jù)意識覺醒,交給你一個數(shù)據(jù)管理或者數(shù)據(jù)治理的任務(wù),我們應(yīng)該怎么做?
首先需要了解數(shù)據(jù)管理的概念,數(shù)據(jù)的特性決定了做數(shù)據(jù)管理是一個系統(tǒng)工程,需要有科學的方法論體系,建議你參考DAMA;其次需要評估組織數(shù)據(jù)管理的現(xiàn)狀,參照數(shù)據(jù)管理成熟度模型進行;然后基于評估結(jié)果制定PDCA計劃;最后需要啟動組織變更,目的是支撐數(shù)據(jù)管理實施的路線圖。
如何評估數(shù)據(jù)管理水平:
數(shù)據(jù)管理成熟度模型定義了5個層級:

等級一:初始級。組織沒有意識到數(shù)據(jù)的重要性,數(shù)據(jù)需求的管理主要是在項目級來體現(xiàn),沒有統(tǒng)一的數(shù)據(jù)管理流程,存在大量的數(shù)據(jù)孤島,經(jīng)常由于數(shù)據(jù)的問題導(dǎo)致低下的客戶服務(wù)質(zhì)量、繁重的人工維護工作等。
等級二:受管理級。組織已經(jīng)意識到數(shù)據(jù)是資產(chǎn),根據(jù)管理策略的要求制定了管理流程,指定了相關(guān)人員進行初步的管理,并且識別了與數(shù)據(jù)管理、應(yīng)用相關(guān)的干系人。
等級三:穩(wěn)健級。數(shù)據(jù)已經(jīng)被當作實現(xiàn)組織績效目標的重要資產(chǎn),在組織層面制定了系列的標準化管理流程以促進數(shù)據(jù)管理的規(guī)范化,數(shù)據(jù)的管理者可以快速地滿足跨多個業(yè)務(wù)系統(tǒng)、準確、一致的數(shù)據(jù)要求,有詳細的數(shù)據(jù)需求響應(yīng)處理規(guī)范、流程。
等級四:量化管理級。數(shù)據(jù)被認為是獲取競爭優(yōu)勢的重要資源,組織認識到數(shù)據(jù)在流程優(yōu)化、工作效率提升等方面的作用,針對數(shù)據(jù)管理方面的流程進行全面的優(yōu)化,針對數(shù)據(jù)管理的崗位進行關(guān)鍵績效指標(key performance indicator,KPI)的考核,規(guī)范和加強數(shù)據(jù)相關(guān)的管理工作,并且根據(jù)過程的監(jiān)控和分析對整體的數(shù)據(jù)管理制度和流程進行優(yōu)化。
等級五:優(yōu)化級。數(shù)據(jù)被認為是組織生存的基礎(chǔ),相關(guān)管理流程能夠?qū)崟r優(yōu)化,能夠在行業(yè)內(nèi)進行最佳實踐的分享。
如何做數(shù)據(jù)管理?
本書的重點是介紹數(shù)據(jù)管理的概念,后面我們將各個章節(jié)融合到DAMA數(shù)據(jù)體系去講解,你將可以參考DAMA去深入數(shù)據(jù)管理。
數(shù)據(jù)無處不在,是企業(yè)的資產(chǎn);數(shù)據(jù)是一種有價值的資產(chǎn),但也隱含著風險。低質(zhì)量的數(shù)據(jù)帶來損耗,高質(zhì)量的數(shù)據(jù)帶來收益。,但需要將技術(shù)管理和數(shù)據(jù)管理分開。數(shù)據(jù)管理的挑戰(zhàn)首先是由數(shù)據(jù)資產(chǎn)的特性決定的,數(shù)據(jù)資產(chǎn)不可觸摸、持久的、不會被消耗,但在使用的時候有被盜的風險;容易被拷貝和遷移,但是如果丟失或被破壞,將不可再生;數(shù)據(jù)是動態(tài)的,可以在同一時刻被多人使用。以上特性造成數(shù)據(jù)管理的難度:(1)難以盤點組織有多少數(shù)據(jù)資產(chǎn);(2)很難定義數(shù)據(jù)的所有權(quán)和責任;(3)很難防止濫用數(shù)據(jù);(4)數(shù)據(jù)風險管理很難;(5)很難定義和執(zhí)行統(tǒng)一的數(shù)據(jù)質(zhì)量標準;
數(shù)據(jù)管理需要站在企業(yè)全局的視角去規(guī)劃、協(xié)同和技術(shù)實現(xiàn),數(shù)據(jù)管理的核心是管理數(shù)據(jù)的生命周期,專注于數(shù)據(jù)的產(chǎn)生、遷移和維護的全過程,數(shù)據(jù)有不同的分類規(guī)則,不同類型的數(shù)據(jù)又會有不同的生命周期需求,但也有共性的規(guī)則如下:(1)在數(shù)據(jù)生命周期中,數(shù)據(jù)的產(chǎn)生和使用是最主要的關(guān)鍵點;(2)數(shù)據(jù)質(zhì)量管理必須貫穿數(shù)據(jù)生命周期的全過程;(3)元數(shù)據(jù)管理必須貫穿數(shù)據(jù)生命周期全過程;(4)數(shù)據(jù)安全管理必須貫穿數(shù)據(jù)生命周期全過程;(5)數(shù)據(jù)管理應(yīng)該專注于最關(guān)鍵的數(shù)據(jù);
DAMA數(shù)據(jù)管理的原則如下:

數(shù)據(jù)管理的11大知識領(lǐng)域:
DAMA數(shù)據(jù)管理包括11個知識領(lǐng)域和3大主題域,全景視圖如下:

數(shù)據(jù)管理11個知識域如下:
數(shù)據(jù)治理:依據(jù)組織的整體需求,通過建立數(shù)據(jù)決策的權(quán)限和責任,為數(shù)據(jù)管理活動和職能提供整體的指導(dǎo)和監(jiān)督;
數(shù)據(jù)架構(gòu):基于組織的戰(zhàn)略目標,建立符合戰(zhàn)略需求的數(shù)據(jù)架構(gòu);
數(shù)據(jù)建模和設(shè)計:探索、分析、表示和溝通數(shù)據(jù)需求的一個過程,最后輸出數(shù)據(jù)模型;
數(shù)據(jù)存儲和操作:包括數(shù)據(jù)存儲的設(shè)計、實施和支持,目的是達到利益最大化;該活動貫穿數(shù)據(jù)的整個生命周期——從數(shù)據(jù)規(guī)劃到數(shù)據(jù)消除;
數(shù)據(jù)安全:確保數(shù)據(jù)隱私和安全;
數(shù)據(jù)整合與互操作性(翻譯錯誤,應(yīng)該為集成與交換):包括存在于不同數(shù)據(jù)系統(tǒng)、應(yīng)用程序和組織之內(nèi),以及組織之間的數(shù)據(jù)遷移和集成等;
文檔和內(nèi)容管理:通過PDCA活動,來管理那些存儲于非結(jié)構(gòu)化介質(zhì)中的數(shù)據(jù)和它們的生命周期,甚至是那些與法律及合規(guī)性相關(guān)的文件的管理;
參考數(shù)據(jù)(翻譯錯誤,應(yīng)該為字典數(shù)據(jù))和主數(shù)據(jù)管理:對核心關(guān)鍵共享數(shù)據(jù)的持續(xù)更新和維護,以便得到最準確、及時并和基礎(chǔ)業(yè)務(wù)相關(guān)的數(shù)據(jù);
數(shù)據(jù)倉庫和商務(wù)智能:通過PDCA活動,為管理決策提供數(shù)據(jù)量化的支持,使相關(guān)工作人員能夠通過數(shù)據(jù)分析和數(shù)據(jù)報告獲取價值;
元數(shù)據(jù)管理:通過PDCA活動,支持訪問高質(zhì)量的元數(shù)據(jù)集,包括定義、模型、數(shù)據(jù)流和其他對理解數(shù)據(jù)及其創(chuàng)建、維護和訪問至關(guān)重要的信息;
數(shù)據(jù)質(zhì)量管理:包括規(guī)劃和實施質(zhì)量管理技術(shù),以衡量、評估和改善組織使用的數(shù)據(jù);
數(shù)據(jù)管理的三大核心領(lǐng)域:
DAMA數(shù)據(jù)管理的三大核心領(lǐng)域:數(shù)據(jù)治理、數(shù)據(jù)生命周期管理、數(shù)據(jù)的基礎(chǔ)活動;
數(shù)據(jù)治理活動:
數(shù)據(jù)治理需要EMT領(lǐng)導(dǎo)層的承諾和投入,是一項持續(xù)性的工作,貫穿整個數(shù)據(jù)管理的生命周期,通過闡明戰(zhàn)略、建立框架、制定方針及實現(xiàn)數(shù)據(jù)共享,為其他數(shù)據(jù)管理職能提供指導(dǎo)和監(jiān)督;數(shù)據(jù)治理是實現(xiàn)業(yè)務(wù)目標的一種手段,本身不是目的;通過將獲得和行為與數(shù)據(jù)管理原則相結(jié)合,來支持組織的業(yè)務(wù)戰(zhàn)略,應(yīng)對數(shù)據(jù)管理的挑戰(zhàn)。
一個成功的數(shù)據(jù)治理項目將:1.建立符合并支持業(yè)務(wù)戰(zhàn)略的數(shù)據(jù)治理戰(zhàn)略;2.基于數(shù)據(jù)管理原則,制定和執(zhí)行相關(guān)行動計劃;3.設(shè)置數(shù)據(jù)質(zhì)量標準;4.提供關(guān)鍵數(shù)據(jù)的管理;5.確保組織遵守和數(shù)據(jù)相關(guān)的法規(guī);6.管理那些與數(shù)據(jù)和治理的各方面相關(guān)的問題。
數(shù)據(jù)的生命周期管理:
規(guī)劃與設(shè)計:
企業(yè)數(shù)據(jù)架構(gòu)描述如何組織和管理數(shù)據(jù),由數(shù)據(jù)架構(gòu)師、建模師和數(shù)據(jù)管理專員負責,負責管理業(yè)務(wù)架構(gòu)創(chuàng)建和要求的數(shù)據(jù),包括數(shù)據(jù)模型、數(shù)據(jù)定義、數(shù)據(jù)映射規(guī)范、數(shù)據(jù)流、結(jié)構(gòu)化數(shù)據(jù)API;
數(shù)據(jù)架構(gòu)的核心是數(shù)據(jù)模型(數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)規(guī)范)和數(shù)據(jù)流設(shè)計。數(shù)據(jù)建模是發(fā)現(xiàn)、分析和界定數(shù)據(jù)需求的過程,然后以數(shù)據(jù)模型的文檔準確表示和傳遞這些數(shù)據(jù)需求:
目標:描述結(jié)構(gòu)、范圍定義,然后進行文檔化;
如何做:5w1h描述實體,描述實體關(guān)系,定義屬性,定義值域;
數(shù)據(jù)操作與維護:

(1)數(shù)據(jù)存儲與操作:DBA確保數(shù)據(jù)引擎正常運行;
(2)數(shù)據(jù)集成與交換;
(3)數(shù)據(jù)倉庫:
數(shù)據(jù)倉庫建設(shè)理論有2個核心流派,而在實際假設(shè)過程中需要選擇性予以參考和綜合,無需完全參考理論。
Bill Inmon:面向主題的、集成的、反映歷史變化的、相對穩(wěn)定的數(shù)據(jù)集和,以支持管理層的決策過程。

Ralph Kimball:專門為查詢和分析構(gòu)建的交易數(shù)據(jù)的副本。

(4)字典管理;
(5)主數(shù)據(jù)管理:
主數(shù)據(jù)管理是一個全數(shù)據(jù)生命周期的過程,不僅在MDM系統(tǒng)中管理,還必須可供其他系統(tǒng)和流程使用,依靠能夠共享和反饋數(shù)據(jù)的技術(shù),還需要可備份。主數(shù)據(jù)管理的核心業(yè)務(wù)邏輯:1.確定主數(shù)據(jù)源;2.建立精確匹配和合并實體實例的規(guī)則;3.建立識別和恢復(fù)不恰當適配與合并數(shù)據(jù)的方法;4.建立向整個企業(yè)系統(tǒng)分發(fā)可信數(shù)據(jù)的方法;
(6)文檔與內(nèi)容管理;
(7)大數(shù)據(jù)存儲;
數(shù)據(jù)使用和數(shù)據(jù)科學:
(1)主數(shù)據(jù)的使用;
(2)商務(wù)智能;
(3)數(shù)據(jù)科學:是指開發(fā)預(yù)測模型的過程,數(shù)據(jù)分析師使用科學的方法(觀察、假設(shè)、實驗、分析和給出結(jié)論)來開發(fā)和評估分析模型或預(yù)測模型;
(4)預(yù)測性分析;
(5)數(shù)據(jù)可視化;
(6)數(shù)據(jù)貨幣化;
數(shù)據(jù)管理的基礎(chǔ)活動:
數(shù)據(jù)保護、隱私、安全和風險管理;
元數(shù)據(jù)管理:管理“數(shù)據(jù)的數(shù)據(jù)”,是數(shù)據(jù)管理的基礎(chǔ);
數(shù)據(jù)質(zhì)量管理:
規(guī)范的數(shù)據(jù)質(zhì)量管理主要包括:
(1)通過數(shù)據(jù)質(zhì)量DQ標準、規(guī)則和需求來定義高質(zhì)量的數(shù)據(jù);
(2)對照已制定的相關(guān)標準評估數(shù)據(jù),并向利益相關(guān)方通報評估結(jié)果;
(3)對應(yīng)用中的數(shù)據(jù)和數(shù)據(jù)存儲進行監(jiān)控和報告;
(4)識別問題并提出改進意見。
數(shù)據(jù)質(zhì)量提升周期:PDCA;數(shù)據(jù)質(zhì)量的保障需要堅定的領(lǐng)導(dǎo)層;
收獲:
通過本文,你將了解如果你的企業(yè)需要做數(shù)據(jù)管理或數(shù)據(jù)治理,你應(yīng)該從熟悉DAMA體系開始,獲取公司高層的堅定支持,通過指導(dǎo)合理評估數(shù)據(jù)管理現(xiàn)狀,基于評估制定改進計劃,從方法論落地到實際數(shù)據(jù)管理。本文講解了數(shù)據(jù)管理的11大知識領(lǐng)域和3大核心業(yè)務(wù)領(lǐng)域,以最簡的內(nèi)容快速解析數(shù)據(jù)管理核心內(nèi)容,從全局上為數(shù)據(jù)管理 以及 數(shù)據(jù)治理 進行導(dǎo)航。針對原書中的翻譯的不妥之處進行了改進,如有疑問,歡迎留言討論。