數(shù)據(jù)質(zhì)量

15.1數(shù)據(jù)質(zhì)量保障原則

1.完整性

完整性是指數(shù)據(jù)的記錄和信息是否完整，是否存在缺失的情況。

2.準(zhǔn)確性

準(zhǔn)確性是指數(shù)據(jù)種記錄的信息和數(shù)據(jù)是否準(zhǔn)確，是否存在異?；蛘咤e誤的信息。

3.一致性

4.及時性

數(shù)據(jù)是小時級別或者實(shí)時級別的。阿里的交易大屏就做到了秒級。

15.2數(shù)據(jù)質(zhì)量方法概述

1.消費(fèi)場景知曉

2.數(shù)據(jù)生產(chǎn)加工各個環(huán)節(jié)卡點(diǎn)校驗(yàn)

在線系統(tǒng)：OLTP

離線系統(tǒng)：OLAP

3.風(fēng)控點(diǎn)監(jiān)控

4.質(zhì)量衡量

5.質(zhì)量配套工具

15.2.1消費(fèi)場景知曉

1.數(shù)據(jù)資產(chǎn)等級定義

毀滅性質(zhì)

全局性質(zhì)

局部性質(zhì)

一般性質(zhì)

未知性質(zhì)

2.數(shù)據(jù)資產(chǎn)等級落地方法

15.2.2數(shù)據(jù)加工過程卡點(diǎn)校驗(yàn)

1.在線系統(tǒng)卡點(diǎn)校驗(yàn)

2.離線系統(tǒng)卡點(diǎn)校驗(yàn)

首先，是代碼提交時的卡點(diǎn)校驗(yàn)。在此背景下，我們上線了代碼掃描工具SQLSCAN

其次，任務(wù)發(fā)布上線時的卡點(diǎn)校驗(yàn)。

最后，節(jié)點(diǎn)變更或數(shù)據(jù)重刷前的變更通知。

15.2.3風(fēng)險點(diǎn)監(jiān)控

1.在線數(shù)據(jù)風(fēng)險點(diǎn)監(jiān)控

實(shí)時業(yè)務(wù)檢測平臺BCP，用于保障在線系統(tǒng)的數(shù)據(jù)質(zhì)量。

2.離線數(shù)據(jù)風(fēng)險點(diǎn)監(jiān)控

（1）數(shù)據(jù)準(zhǔn)確性

DQC檢查

（2）數(shù)據(jù)及時性

任務(wù)優(yōu)先級

任務(wù)報警：監(jiān)控報警系統(tǒng)

摩薩德：離線任務(wù)的監(jiān)控報警系統(tǒng)

出錯告警

完成告警

未完成告警

周期性告警

超時告警

15.2.4質(zhì)量衡量

1.數(shù)據(jù)質(zhì)量起夜率