讀DAMA數(shù)據(jù)管理知識(shí)體系指南31參考數(shù)據(jù)和主數(shù)據(jù)概念（上）.png

1. 業(yè)務(wù)驅(qū)動(dòng)因素

1.1. 滿足組織數(shù)據(jù)需求

• 1.1.1. 組織中的多個(gè)業(yè)務(wù)領(lǐng)域需要訪問相同的數(shù)據(jù)集，并且他們都相信這些數(shù)據(jù)集是完整的、最新的、一致的

1.2. 管理數(shù)據(jù)質(zhì)量

• 1.2.1. 數(shù)據(jù)的不一致、質(zhì)量問題和差異均會(huì)導(dǎo)致決策錯(cuò)誤或喪失機(jī)會(huì)

1.3. 管理數(shù)據(jù)集成的成本

• 1.3.1. 在沒有主數(shù)據(jù)的情況下，將新數(shù)據(jù)源集成到一個(gè)已經(jīng)很復(fù)雜的環(huán)境中成本會(huì)更高，這減少了因?qū)﹃P(guān)鍵實(shí)體的定義和識(shí)別方式的變化而產(chǎn)生的額外成本

1.4. 降低風(fēng)險(xiǎn)

• 1.4.1. 主數(shù)據(jù)簡(jiǎn)化了數(shù)據(jù)共享架構(gòu)，從而降低了與復(fù)雜環(huán)境相關(guān)的成本和風(fēng)險(xiǎn)

1.5. 集中管理的參考數(shù)據(jù)的好處

• 1.5.1. 通過使用一致的參考數(shù)據(jù)，滿足多個(gè)項(xiàng)目的數(shù)據(jù)需求，降低數(shù)據(jù)整合的風(fēng)險(xiǎn)和成本

• 1.5.2. 提升參考數(shù)據(jù)的質(zhì)量

1.6. 數(shù)據(jù)驅(qū)動(dòng)型的組織活動(dòng)通常側(cè)重于交易數(shù)據(jù)

• 1.6.1. 利用此類交易數(shù)據(jù)的能力高度依賴參考數(shù)據(jù)和主數(shù)據(jù)的可用性和質(zhì)量

2. 目標(biāo)

2.1. 確保組織在各個(gè)流程中都擁有完整、一致、最新且權(quán)威的參考數(shù)據(jù)和主數(shù)據(jù)

2.2. 促使企業(yè)在各業(yè)務(wù)單元和各應(yīng)用系統(tǒng)之間共享參考數(shù)據(jù)和主數(shù)據(jù)

2.3. 通過采用標(biāo)準(zhǔn)的、通用的數(shù)據(jù)模型和整合模式，降低數(shù)據(jù)使用和數(shù)據(jù)整合的成本及復(fù)雜性

3. 原則

3.1. 共享數(shù)據(jù)

• 3.1.1. 為了能在組織中實(shí)現(xiàn)參考數(shù)據(jù)和主數(shù)據(jù)共享，必須把這些數(shù)據(jù)管理起來

3.2. 所有權(quán)

• 3.2.1. 參考數(shù)據(jù)和主數(shù)據(jù)的所有權(quán)屬于整個(gè)組織，而不是屬于某個(gè)應(yīng)用系統(tǒng)或部門

• 3.2.2. 需要廣泛共享，所以需要全局的組織管理

3.3. 質(zhì)量

• 3.3.1. 參考數(shù)據(jù)和主數(shù)據(jù)需要持續(xù)的數(shù)據(jù)質(zhì)量監(jiān)控和治理

3.4. 管理職責(zé)

• 3.4.1. 業(yè)務(wù)數(shù)據(jù)管理專員要對(duì)控制和保證參考數(shù)據(jù)的質(zhì)量負(fù)責(zé)

3.5. 控制變更

• 3.5.1. 在給定的時(shí)間點(diǎn)，主數(shù)據(jù)值應(yīng)該代表組織對(duì)準(zhǔn)確和最新內(nèi)容的最佳理解

• 3.5.2. 對(duì)參考數(shù)據(jù)的更改應(yīng)該遵循一個(gè)明確的流程：在實(shí)施變更之前應(yīng)該進(jìn)行溝通并得到批準(zhǔn)

3.6. 權(quán)限

• 3.6.1. 主數(shù)據(jù)值應(yīng)僅從記錄系統(tǒng)(System of Record)中復(fù)制。為了實(shí)現(xiàn)跨組織的主數(shù)據(jù)共享，可能需要建立一個(gè)參考數(shù)據(jù)管理系統(tǒng)(System of Reference)

4. 主數(shù)據(jù)和參考數(shù)據(jù)的區(qū)別

4.1. 同類型的數(shù)據(jù)在組織中扮演不同的角色，也有不同的管理要求，經(jīng)常會(huì)在交易數(shù)據(jù)和主數(shù)據(jù)、主數(shù)據(jù)和參考數(shù)據(jù)之間進(jìn)行區(qū)分

4.2. 奇澤姆(Malcolm Chisholm)提出了一種六層的數(shù)據(jù)分類法，包括元數(shù)據(jù)、參考數(shù)據(jù)、企業(yè)結(jié)構(gòu)數(shù)據(jù)、交易結(jié)構(gòu)數(shù)據(jù)、交易活動(dòng)數(shù)據(jù)和交易審計(jì)數(shù)據(jù)

• 4.2.1. 參考數(shù)據(jù)(Reference Data)

  • 4.2.1.1. 代碼表和描述表，僅用于描述組織中的其他數(shù)據(jù)，或者僅用于將數(shù)據(jù)庫中的數(shù)據(jù)與組織之外的信息聯(lián)系起來

• 4.2.2. 企業(yè)結(jié)構(gòu)數(shù)據(jù)(Enterprise Structure Data)

  • 4.2.2.1. 會(huì)計(jì)科目表，能夠按業(yè)務(wù)職責(zé)描述業(yè)務(wù)活動(dòng)

• 4.2.3. 交易結(jié)構(gòu)數(shù)據(jù)(Transaction Structure Data)

  • 4.2.3.1. 客戶標(biāo)識(shí)符，描述了交易過程中必須出現(xiàn)的一些要素

4.3. 主數(shù)據(jù)

• 4.3.1. 主數(shù)據(jù)是“以與業(yè)務(wù)活動(dòng)相關(guān)的通用和抽象概念形式提供業(yè)務(wù)活動(dòng)語境的數(shù)據(jù)，包括業(yè)務(wù)交易中涉及的內(nèi)部和外部對(duì)象的詳細(xì)信息（定義和標(biāo)識(shí)符），如客戶、產(chǎn)品、雇員、供應(yīng)商和受控域（代碼值）”

• 4.3.2. 主數(shù)據(jù)需要為概念實(shí)體（如產(chǎn)品、地點(diǎn)、賬戶、個(gè)人或組織）的每個(gè)實(shí)例識(shí)別和開發(fā)可信的實(shí)例版本，并維護(hù)該版本的時(shí)效性

• 4.3.3. 主數(shù)據(jù)面臨的主要挑戰(zhàn)是實(shí)體解析（也稱為身份管理，Identity Management），它是識(shí)別和管理來自不同系統(tǒng)和流程的數(shù)據(jù)之間的關(guān)聯(lián)的過程

• 4.3.4. 主數(shù)據(jù)管理工作就是為了消除這些差異，以便在不同環(huán)境中一致地識(shí)別單個(gè)實(shí)體、實(shí)例

4.4. 參考數(shù)據(jù)

• 4.4.1. 參考數(shù)據(jù)和主數(shù)據(jù)有著相似的用途

• 4.4.2. 兩者都是應(yīng)該在企業(yè)層面上被管理的共享資源

• 4.4.3. 如果相同的參考數(shù)據(jù)擁有多個(gè)實(shí)例就會(huì)降低效率，并會(huì)不可避免地導(dǎo)致實(shí)例間的不一致，不一致就會(huì)導(dǎo)致歧義，歧義又會(huì)給組織帶來風(fēng)險(xiǎn)

• 4.4.4. 成功的參考數(shù)據(jù)或主數(shù)據(jù)管理規(guī)劃包含完整的數(shù)據(jù)管理職能（數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、數(shù)據(jù)整合等）

• 4.4.5. 參考數(shù)據(jù)不易變化，它的數(shù)據(jù)集通常會(huì)比交易數(shù)據(jù)集或主數(shù)據(jù)集小、復(fù)雜程度低，擁有的列和行也更少

• 4.4.6. 參考數(shù)據(jù)管理不包括實(shí)體解析的挑戰(zhàn)

4.5. 參考數(shù)據(jù)管理(Reference Data Management, RDM)

• 4.5.1. 需要對(duì)定義的域值及其定義進(jìn)行控制

• 4.5.2. 參考數(shù)據(jù)管理的目標(biāo)是確保組織能夠訪問每個(gè)概念的一整套準(zhǔn)確且最新的值

• 4.5.3. 參考數(shù)據(jù)管理面臨的一個(gè)挑戰(zhàn)是由誰主導(dǎo)或負(fù)責(zé)參考數(shù)據(jù)的定義和維護(hù)

• 4.5.4. 確定獲取數(shù)據(jù)和管理更新的責(zé)任是參考數(shù)據(jù)管理的一部分

• 4.5.5. 缺乏維護(hù)問責(zé)會(huì)帶來風(fēng)險(xiǎn)，因?yàn)閰⒖紨?shù)據(jù)中的差異可能會(huì)導(dǎo)致對(duì)數(shù)據(jù)上下文的誤解

4.6. 主數(shù)據(jù)管理(Master Data Management, MDM)

• 4.6.1. 需要對(duì)主數(shù)據(jù)的值和標(biāo)識(shí)符進(jìn)行控制，以便能夠跨系統(tǒng)地、一致地使用核心業(yè)務(wù)實(shí)體中最準(zhǔn)確、最及時(shí)的數(shù)據(jù)

• 4.6.2. 主數(shù)據(jù)管理的目標(biāo)包括確保當(dāng)前值的準(zhǔn)確性和可用性，同時(shí)降低由那些不明確的標(biāo)識(shí)符所引發(fā)的相關(guān)風(fēng)險(xiǎn)

4.7. 主數(shù)據(jù)和參考數(shù)據(jù)為交易提供了上下文信息，因此它們?cè)谄髽I(yè)運(yùn)營過程中（如在CRM和ERP系統(tǒng)中）塑造了進(jìn)入組織的交易數(shù)據(jù)，并支持對(duì)交易數(shù)據(jù)的框架分析

5. 參考數(shù)據(jù)

5.1. 在任何組織中，都存在一些需要跨業(yè)務(wù)領(lǐng)域、跨流程和跨系統(tǒng)使用的數(shù)據(jù)

5.2. 數(shù)據(jù)使用者在看到不一致的數(shù)據(jù)之前，通常都會(huì)假設(shè)這些數(shù)據(jù)在整個(gè)組織中具有一定的一致性

5.3. 存在多套在本質(zhì)上作用相同的系統(tǒng)，它們相互隔離，無法溝通

5.4. 最基本的參考數(shù)據(jù)由代碼和描述組成，但是有些參考數(shù)據(jù)可能更復(fù)雜，還包含映射和層次結(jié)構(gòu)

5.5. 參考數(shù)據(jù)可以用不同的存儲(chǔ)方式滿足不同的需求

5.6. 存儲(chǔ)技術(shù)

• 5.6.1. 關(guān)系數(shù)據(jù)庫中的代碼表

  • 5.6.1.1. 通過外鍵與其他表鏈接，以保持?jǐn)?shù)據(jù)庫管理系統(tǒng)中的參照完整性功能

• 5.6.2. 參考數(shù)據(jù)管理系統(tǒng)

  • 5.6.2.1. 用于維護(hù)業(yè)務(wù)實(shí)體，允許，未來狀態(tài)、棄用值以及術(shù)語映射規(guī)則，以支持更廣泛的應(yīng)用和數(shù)據(jù)整合使用

• 5.6.3. 用特定于對(duì)象屬性的元數(shù)據(jù)指定允許值，重點(diǎn)在于應(yīng)用程序的調(diào)用接口或用戶界面訪問

5.7. 參考數(shù)據(jù)管理需要控制和維護(hù)定義的域值、定義以及域值內(nèi)和域值間的關(guān)系

5.8. 參考數(shù)據(jù)管理的目標(biāo)是確保不同功能之間引用的值是一致的、最新的，并且組織內(nèi)部均可以訪問這些數(shù)據(jù)

5.9. 參考數(shù)據(jù)結(jié)構(gòu)

• 5.9.1. 根據(jù)參考數(shù)據(jù)所代表的粒度和復(fù)雜性，可以將其構(gòu)造為一個(gè)簡(jiǎn)單的列表、一個(gè)交叉引用或一個(gè)分類

• 5.9.2. 列表

  • 5.9.2.1. 最簡(jiǎn)單的參考數(shù)據(jù)是由代碼值和代碼描述組成的列表

  • 5.9.2.2. 代碼值是主標(biāo)識(shí)符，是在其他上下文中出現(xiàn)的短格式參考值

  • 5.9.2.3. 與所有的參考數(shù)據(jù)一樣，列表必須滿足數(shù)據(jù)消費(fèi)者的需求，包括對(duì)適當(dāng)?shù)脑敿?xì)程度的要求

• 5.9.3. 交叉參考數(shù)據(jù)列表

  • 5.9.3.1. 不同的應(yīng)用程序可以使用不同的代碼集表示相同的概念

  • 5.9.3.2. 列表不被規(guī)范化才有效，因?yàn)榉且?guī)范化的結(jié)構(gòu)有時(shí)會(huì)使得理解這些關(guān)系變得更加容易

• 5.9.4. 分類法

  • 5.9.4.1. 分類參考數(shù)據(jù)體系根據(jù)不同級(jí)別的差異性獲取信

  • 5.9.4.2. 分類法(Taxonomies)利用內(nèi)容分類和多方位的導(dǎo)航以支持商務(wù)智能

  • 5.9.4.3. 分類參考數(shù)據(jù)可以按遞歸關(guān)系儲(chǔ)存

  • 5.9.4.4. 分類法管理工具也可以維護(hù)數(shù)據(jù)層次信息

  • 5.9.4.5. 層次結(jié)構(gòu)包括代碼、描述和對(duì)各個(gè)代碼進(jìn)行分類的父代碼的引用

• 5.9.5. 本體

  • 5.9.5.1. 一些組織將用于管理網(wǎng)站內(nèi)容的本體作為參考數(shù)據(jù)的一部分，這是因?yàn)楸倔w模型也被用來描述其他數(shù)據(jù)或?qū)⒔M織數(shù)據(jù)與組織邊界之外的信息聯(lián)系起來

  • 5.9.5.2. 本體模型也可以理解為是元數(shù)據(jù)的一種形式

  • 5.9.5.3. 維護(hù)本體的最佳實(shí)踐類似于參考數(shù)據(jù)管理的最佳實(shí)踐

  • 5.9.5.4. 本體的主要用例之一是內(nèi)容管理

5.10. 專有或內(nèi)部參考數(shù)據(jù)

• 5.10.1. 許多組織通過創(chuàng)建參考數(shù)據(jù)來支持內(nèi)部流程和應(yīng)用，這些專有的參考數(shù)據(jù)通常會(huì)隨著時(shí)間的推移而快速增長(zhǎng)

• 5.10.2. 參考數(shù)據(jù)管理的一部分工作就是通過管理這些數(shù)據(jù)集，理想情況下，使各個(gè)數(shù)據(jù)集之間具有一致性，并讓這種一致性服務(wù)于組織

• 5.10.3. 數(shù)據(jù)管理人員必須在使用相同詞匯指代相同信息的需求和不同流程之間保持一定靈活性的需求之間找到平衡

5.11. 行業(yè)參考數(shù)據(jù)

• 5.11.1. 行業(yè)參考數(shù)據(jù)(Industry Reference Data)是一個(gè)寬泛的術(shù)語，用于描述由行業(yè)協(xié)會(huì)或政府機(jī)構(gòu)而不是由某個(gè)組織創(chuàng)建和維護(hù)的數(shù)據(jù)集，以便為編碼重要的概念提供一個(gè)通用的標(biāo)準(zhǔn)

• 5.11.2. 是數(shù)據(jù)共享和互操作性的先決條件

• 5.11.3. 行業(yè)參考數(shù)據(jù)是由使用這些數(shù)據(jù)的組織的外部組織生成和維護(hù)的，但這些行業(yè)參考數(shù)據(jù)需要理解組織內(nèi)的事物，它可能需要提供一些對(duì)具體的數(shù)據(jù)質(zhì)量管理工作（如第三方業(yè)務(wù)目錄）、業(yè)務(wù)計(jì)算（如外匯匯率）或業(yè)務(wù)數(shù)據(jù)擴(kuò)充（如營銷數(shù)據(jù)）的支持

5.12. 地理或地理統(tǒng)計(jì)參考數(shù)據(jù)

• 5.12.1. 地理或地理統(tǒng)計(jì)參考數(shù)據(jù)(Geographic or Geo-statistical Reference Data)可根據(jù)地理信息進(jìn)行分類或分析

5.13. 計(jì)算參考數(shù)據(jù)

• 5.13.1. 很多商業(yè)活動(dòng)都依賴于使用一些通用的、持續(xù)計(jì)算的數(shù)據(jù)

5.14. 標(biāo)準(zhǔn)參考數(shù)據(jù)集的元數(shù)據(jù)

• 5.14.1. 和其他數(shù)據(jù)一樣，參考數(shù)據(jù)也會(huì)隨著時(shí)間的變化而變化