當(dāng)前越來(lái)越多的企業(yè)認(rèn)識(shí)到了數(shù)據(jù)的重要性,數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)的建設(shè)如雨后春筍。但數(shù)據(jù)是一把雙刃劍,它能給企業(yè)帶來(lái)業(yè)務(wù)價(jià)值的同時(shí)也是組織最大的風(fēng)險(xiǎn)來(lái)源。糟糕的數(shù)據(jù)質(zhì)量常常意味著糟糕的業(yè)務(wù)決策,將直接導(dǎo)致數(shù)據(jù)統(tǒng)計(jì)分析不準(zhǔn)確、監(jiān)管業(yè)務(wù)難、高層領(lǐng)導(dǎo)難以決策等問(wèn)題。因此很多企業(yè)迫切的需要一款數(shù)據(jù)質(zhì)量探查工具來(lái)提升數(shù)據(jù)質(zhì)量,那么,一款數(shù)據(jù)質(zhì)量探查工具應(yīng)該具備哪些功能才能稱之為優(yōu)秀的工具呢?
一、這款工具需要提供開(kāi)箱即用的功能,數(shù)據(jù)初次導(dǎo)入即自動(dòng)進(jìn)行數(shù)據(jù)內(nèi)容剖析:
字段中非重復(fù)值的個(gè)數(shù)、所有值的個(gè)數(shù)
字段中值出現(xiàn)的頻率及占比
字段中空值個(gè)數(shù)及占比
字段中Null的個(gè)數(shù)及占比
字段中值的最大最小值
字段中值的數(shù)據(jù)模式個(gè)數(shù)、出現(xiàn)頻率及占比
字段中值按不同數(shù)據(jù)占位格式的個(gè)數(shù)、出現(xiàn)頻率及占比
值為數(shù)值類型時(shí) 的標(biāo)準(zhǔn)方差
值為數(shù)值類型時(shí)百分位 為數(shù)值類型時(shí)百分位 分析
值為數(shù)值類型時(shí)自動(dòng) 求和 、計(jì)算 平均值 平均值
二 、它需要能對(duì)數(shù)據(jù)見(jiàn)的關(guān)系進(jìn)行剖析:
1) 主鍵分析
數(shù)據(jù)質(zhì)量探查工具在數(shù)據(jù)導(dǎo)入時(shí)自動(dòng)進(jìn)行主鍵分析,發(fā)現(xiàn)所有滿足或接近滿足唯一性的主鍵字段,幫助數(shù)據(jù)管理員和業(yè)務(wù)人員可以進(jìn)一步判斷確定主鍵。
2) 字段間依賴分析
數(shù)據(jù)質(zhì)量探查工具在數(shù)據(jù)導(dǎo)入時(shí)自動(dòng)進(jìn)行表內(nèi)字段間依賴分析,分析字段間值的沖突情況。幫助數(shù)據(jù)管理員和業(yè)務(wù)人員可以進(jìn)一步判斷確定字段間依賴是否正常,并且分析結(jié)果可下鉆到具體的詳細(xì)記錄。
3) 表間關(guān)系分析
數(shù)據(jù)質(zhì)量管理平臺(tái)可發(fā)現(xiàn)表間可能的關(guān)聯(lián)關(guān)系,分析兩表間相同/不相同的值個(gè)數(shù)及記錄數(shù)量,能通過(guò)維恩圖直觀方便地進(jìn)行結(jié)果展示,并生成E-R(實(shí)體關(guān)系模型)
三、數(shù)據(jù)質(zhì)量探查工具需要支持多人協(xié):
數(shù)據(jù)質(zhì)量探查工具提供Notes(注釋)、Bookmarks(電子書(shū)簽)和時(shí)間日志(Event Logs)進(jìn)行數(shù)據(jù)分析的跟蹤、記錄。方便查看發(fā)現(xiàn)的突出問(wèn)題,所關(guān)心的地方和檢查點(diǎn)等,方便團(tuán)隊(duì)進(jìn)行問(wèn)題溝通和解決。
書(shū)簽:在分析數(shù)據(jù)的時(shí)候可以創(chuàng)建書(shū)簽,并且將共享給其他人后續(xù)需要查看點(diǎn)擊。
筆記:對(duì)發(fā)現(xiàn)的問(wèn)題進(jìn)行歸類, 并評(píng)估業(yè)務(wù)影響度對(duì)發(fā)現(xiàn)的問(wèn)題進(jìn)行歸類, 并評(píng)估業(yè)務(wù)影響。
權(quán)限控制:可以設(shè)置不同的人員,比如財(cái)務(wù)人員能看到數(shù)據(jù),其他不如財(cái)務(wù)人員能看到數(shù)據(jù)
回退和鉆?。簲?shù)據(jù)質(zhì)量探查工具提供自帶的回退和下鉆功能,方便進(jìn)行剖析結(jié)果和診斷結(jié)果追蹤,比如通過(guò)某個(gè)字段值的數(shù)據(jù)模式,可以輕松準(zhǔn)確地鉆取到相匹配的詳細(xì)記錄,可通過(guò)后退按鈕顯示之前的結(jié)果。
四、業(yè)務(wù)規(guī)則管理:
1) 數(shù)據(jù)質(zhì)量探查工具提具有務(wù)規(guī)則管理功能,進(jìn)行數(shù)據(jù)合規(guī)性檢查,標(biāo)準(zhǔn)性檢查等數(shù)據(jù)診斷工作,可創(chuàng)建、修改、刪除、運(yùn)行、快速查找業(yè)務(wù)規(guī)則,可快速定位業(yè)務(wù)規(guī)則所影響的實(shí)體表,有助于業(yè)務(wù)規(guī)則變更影響分析。
2) 數(shù)據(jù)質(zhì)量探查工具具有業(yè)務(wù)規(guī)則庫(kù)管理模式,可對(duì)業(yè)務(wù)規(guī)則進(jìn)行分類、優(yōu)先級(jí)管理,支持多種格式導(dǎo)入導(dǎo)出,支持業(yè)務(wù)規(guī)則重用。
3) 數(shù)據(jù)質(zhì)量探查工具具有業(yè)務(wù)規(guī)則提供通過(guò)率閾值的靈活配置,方便企業(yè)靈活配置自己的數(shù)據(jù)質(zhì)量診斷標(biāo)準(zhǔn),快速適應(yīng)企業(yè)不斷變化的業(yè)務(wù)需求。
4)
數(shù)據(jù)質(zhì)量探查工具具有對(duì)業(yè)務(wù)規(guī)則重復(fù)多次運(yùn)行,可對(duì)業(yè)務(wù)規(guī)則結(jié)果進(jìn)行查看分析,可從符合/不符合業(yè)務(wù)規(guī)則記錄數(shù)鉆取到詳細(xì)信息,進(jìn)行具體的數(shù)據(jù)問(wèn)題分析和定位。結(jié)果元數(shù)據(jù)與其他剖析元數(shù)據(jù)一樣存儲(chǔ)在數(shù)據(jù)質(zhì)量管理平臺(tái)資料庫(kù)里,非常方便導(dǎo)入到Excel或報(bào)表工具中進(jìn)一步進(jìn)行圖形可視化分析。
五,提供可視化報(bào)表
數(shù)據(jù)質(zhì)量探查工具提供可視化報(bào)表,讓數(shù)據(jù)將誒過(guò)一目了然。
當(dāng)然,若能提供調(diào)度配置,可對(duì)時(shí)序類數(shù)據(jù)進(jìn)行作業(yè)調(diào)度及監(jiān)控,做到異常數(shù)據(jù)的預(yù)警就完美了。