基于PDCA的數(shù)據(jù)質(zhì)量管理框架

什么是數(shù)據(jù)質(zhì)量

華為數(shù)據(jù)質(zhì)量指“數(shù)據(jù)滿足應(yīng)用的可信程度”，有以下6個(gè)維度

1. 完整性：數(shù)據(jù)在創(chuàng)建、傳遞過(guò)程中無(wú)缺失和遺漏，包括實(shí)體完整、屬性完整、記錄完整和字段值完整四個(gè)方面。
2. 及時(shí)性：及時(shí)記錄和傳遞相關(guān)數(shù)據(jù)，滿足業(yè)務(wù)對(duì)信息獲取的時(shí)間要求。數(shù)據(jù)交付要及時(shí)，抽取要及時(shí)，展現(xiàn)要及時(shí)；數(shù)據(jù)交付時(shí)間過(guò)長(zhǎng)可能導(dǎo)致分析結(jié)論失去參考意義。
3. 準(zhǔn)確性：真實(shí)、準(zhǔn)確地記錄原始數(shù)據(jù)，無(wú)虛假數(shù)據(jù)及信息。數(shù)據(jù)要準(zhǔn)確反映其所建模的“真實(shí)世界”實(shí)體。
4. 一致性：遵循統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)記錄和傳遞數(shù)據(jù)和信息，主要體現(xiàn)在數(shù)據(jù)記錄是否規(guī)范、數(shù)據(jù)是否符合邏輯。
5. 唯一性：同一數(shù)據(jù)只能有唯一的標(biāo)識(shí)符。體現(xiàn)在一個(gè)數(shù)據(jù)集中，一個(gè)實(shí)體只出現(xiàn)一次，并且每個(gè)唯一實(shí)體有一個(gè)鍵值且該鍵值只指向該實(shí)體。
6. 有效性：數(shù)據(jù)的值、格式和展現(xiàn)形式符合數(shù)據(jù)定義和業(yè)務(wù)定義的要求。

數(shù)據(jù)服務(wù)生命周期管理

流程質(zhì)量是基于流程結(jié)果評(píng)估業(yè)務(wù)執(zhí)行的好壞，數(shù)據(jù)質(zhì)量更關(guān)注業(yè)務(wù)對(duì)象、業(yè)務(wù)規(guī)則、業(yè)務(wù)過(guò)程、業(yè)務(wù)結(jié)果等數(shù)據(jù)是否得到了及時(shí)記錄。

數(shù)據(jù)質(zhì)量的總體框架

華為以ISO8000質(zhì)量標(biāo)準(zhǔn)體系為依據(jù)，設(shè)計(jì)了PDCA（Plan、Do、Check、Action、計(jì)劃、執(zhí)行、檢查、處理）持續(xù)改進(jìn)的數(shù)據(jù)質(zhì)量管理
框架

1. 自上而下打造數(shù)據(jù)質(zhì)量領(lǐng)導(dǎo)力
2. 全面推進(jìn)數(shù)據(jù)質(zhì)量持續(xù)改進(jìn)機(jī)制
3. 不斷加強(qiáng)數(shù)據(jù)質(zhì)量能力保障

全面監(jiān)控企業(yè)業(yè)務(wù)異常數(shù)據(jù)

數(shù)據(jù)質(zhì)量規(guī)則??

若想從眾多數(shù)據(jù)中識(shí)別出異常數(shù)據(jù)，需要通過(guò)數(shù)據(jù)質(zhì)量規(guī)則給數(shù)據(jù)打上標(biāo)簽；數(shù)據(jù)質(zhì)量規(guī)則是判斷數(shù)據(jù)是否符合數(shù)據(jù)質(zhì)量要求的邏輯約束。如下4類數(shù)據(jù)質(zhì)量分類框架：

1. 單列數(shù)據(jù)質(zhì)量規(guī)則：關(guān)注數(shù)據(jù)屬性值的有無(wú)以及是否符合自身規(guī)范的邏輯判斷。
2. 跨列數(shù)據(jù)質(zhì)量規(guī)則：關(guān)注數(shù)據(jù)屬性間關(guān)聯(lián)關(guān)系的邏輯判斷。
3. 跨行數(shù)據(jù)質(zhì)量規(guī)則：關(guān)注數(shù)據(jù)記錄之間關(guān)聯(lián)關(guān)系的邏輯判斷。
4. 跨表數(shù)據(jù)質(zhì)量規(guī)則：關(guān)注數(shù)據(jù)集關(guān)聯(lián)關(guān)系的邏輯判斷。

15類規(guī)則

異常數(shù)據(jù)監(jiān)控

1. 識(shí)別監(jiān)控對(duì)象范圍，確定監(jiān)控內(nèi)容
2. 數(shù)據(jù)源剖析
   a. 數(shù)據(jù)源內(nèi)容：如從上述數(shù)據(jù)源剖析結(jié)果的摘要視圖中，我們可以了解到此表包含員工工號(hào)、姓名等內(nèi)容，即列信息等。
   b. 數(shù)據(jù)源結(jié)構(gòu)：包括技術(shù)結(jié)構(gòu)和業(yè)務(wù)結(jié)構(gòu)。技術(shù)結(jié)構(gòu)指空值頻率、相異值頻率、值范圍（最大值、最小值）、模式、長(zhǎng)度、數(shù)據(jù)類型。業(yè)務(wù)結(jié)構(gòu)如組織結(jié)構(gòu)存儲(chǔ)是平面結(jié)構(gòu)還是樹狀結(jié)構(gòu)。
   c. 數(shù)據(jù)源質(zhì)量：根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)分析剖析結(jié)果的數(shù)據(jù)質(zhì)量，例如必填字段是否有空值存儲(chǔ)，有允許值列表中的值個(gè)數(shù)與相異值頻率是否一致等。
3. 設(shè)計(jì)和配置監(jiān)控規(guī)則，自動(dòng)監(jiān)測(cè)異常數(shù)據(jù)

通過(guò)數(shù)據(jù)質(zhì)量綜合水平牽引質(zhì)量提升

數(shù)據(jù)質(zhì)量度量運(yùn)作機(jī)制

1. 度量模型
2. 數(shù)據(jù)owner職責(zé)要求
3. 專業(yè)支撐組織職責(zé)要求
4. 度量規(guī)則
   a. 度量對(duì)象選定原則：聚焦業(yè)務(wù)運(yùn)營(yíng)痛點(diǎn)數(shù)據(jù)和影響財(cái)報(bào)的關(guān)鍵數(shù)據(jù)
   b. 度量頻率：一年度量?jī)纱?br> c. 度量方法：從“設(shè)計(jì)”及“執(zhí)行”兩個(gè)方面發(fā)展，通過(guò)“設(shè)計(jì)”明確架構(gòu)及標(biāo)準(zhǔn)，通過(guò)“執(zhí)行”反映其質(zhì)量結(jié)果。
   d. 評(píng)價(jià)標(biāo)準(zhǔn)：統(tǒng)一采取百分率的方式評(píng)價(jià)，并根據(jù)度量得分劃分

設(shè)計(jì)質(zhì)量度量

1. 數(shù)據(jù)資產(chǎn)目錄
2. 數(shù)據(jù)標(biāo)準(zhǔn)
3. 數(shù)據(jù)模型
4. 數(shù)據(jù)分布
5. 設(shè)計(jì)質(zhì)量打分模型

執(zhí)行質(zhì)量度量

執(zhí)行質(zhì)量度量主要是從數(shù)據(jù)質(zhì)量六性（一致性、完整性、及時(shí)性、唯一性、有效性、準(zhǔn)確性）評(píng)估數(shù)據(jù)內(nèi)容的清潔度，設(shè)計(jì)三個(gè)要素如下:

1. 客戶關(guān)注重要性：給客戶運(yùn)營(yíng)帶來(lái)直接影響的數(shù)據(jù)的客戶關(guān)注重要性就高
2. 法律財(cái)務(wù)風(fēng)險(xiǎn)性：與法律、財(cái)務(wù)的關(guān)聯(lián)性強(qiáng)，一旦發(fā)生質(zhì)量問(wèn)題，會(huì)觸犯法律或帶來(lái)相關(guān)財(cái)務(wù)損失，那么該數(shù)據(jù)的法律財(cái)務(wù)風(fēng)險(xiǎn)性就高
3. 業(yè)務(wù)流程戰(zhàn)略性：數(shù)據(jù)所產(chǎn)生的業(yè)務(wù)流程如果是公司核心交易流程或戰(zhàn)略地位高的流程，那么數(shù)據(jù)的業(yè)務(wù)流程戰(zhàn)略性普遍會(huì)得到較高關(guān)注

質(zhì)量改進(jìn)

質(zhì)量改進(jìn)的步驟本身就是一個(gè)PDCA循環(huán)