數(shù)據(jù)目錄管理
數(shù)據(jù)源管理
- 查看、創(chuàng)建、編輯、刪除
- 元數(shù)據(jù)獲取
- 手動(dòng)執(zhí)行
- 定時(shí)執(zhí)行
數(shù)據(jù)源類(lèi)型管理
- 創(chuàng)建數(shù)據(jù)源類(lèi)型時(shí)需要添加類(lèi)型的元數(shù)據(jù)模型定義，模型定義是Json格式，會(huì)提供相應(yīng)的模板來(lái)供用戶參考并支持在線驗(yàn)證格式是否正確
數(shù)據(jù)資產(chǎn)管理
資產(chǎn)類(lèi)型
- 物理數(shù)據(jù)資產(chǎn)
- 資產(chǎn)信息由元數(shù)據(jù)抓取工具實(shí)時(shí)抓取生成，類(lèi)型由數(shù)據(jù)源類(lèi)型決定，例如文件系統(tǒng)、關(guān)系型數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)和消息隊(duì)列等。
- 業(yè)務(wù)數(shù)據(jù)資產(chǎn)
- 資產(chǎn)信息由已有數(shù)據(jù)源和業(yè)務(wù)邏輯生成，目前只支持由關(guān)系型數(shù)據(jù)庫(kù)類(lèi)型的數(shù)據(jù)源生成，屬于派生數(shù)據(jù)源。
資產(chǎn)搜索
- 根據(jù)類(lèi)型、名字或者標(biāo)簽搜索到相應(yīng)的數(shù)據(jù)資產(chǎn)，如表、列、文件等，可點(diǎn)擊查看該資產(chǎn)的詳細(xì)信息。
資產(chǎn)詳情（表級(jí)別）
概況
- 資產(chǎn)名字
- 資產(chǎn)類(lèi)型
- 資產(chǎn)標(biāo)簽
- 資產(chǎn)相關(guān)術(shù)語(yǔ)
- 資產(chǎn)所有者
- 資產(chǎn)的創(chuàng)建時(shí)間
- 資產(chǎn)的更新時(shí)間
- 資產(chǎn)的相關(guān)指標(biāo)
- 不同資產(chǎn)的指標(biāo)不一樣，例如文件類(lèi)型資產(chǎn)的相關(guān)指標(biāo)有文件大小、文件格式等，數(shù)據(jù)庫(kù)表類(lèi)型的資產(chǎn)的相關(guān)指標(biāo)有總行數(shù)、列數(shù)量等
基準(zhǔn)
- 每一列或者選擇的列的Null、Distinct Count、Max、Min、Distribution、Freshness、Uniqutes、Format等值
異常項(xiàng)
- 展示數(shù)據(jù)基準(zhǔn)監(jiān)控、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)漂移監(jiān)控中發(fā)現(xiàn)的異常項(xiàng)
樣例數(shù)據(jù)
數(shù)據(jù)血緣
- 優(yōu)先支持查看表之間的血緣關(guān)系
- 進(jìn)行數(shù)據(jù)影響推斷，盡快地發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的下游影響節(jié)點(diǎn)
Schema 監(jiān)控
- 自動(dòng)監(jiān)控各種數(shù)據(jù)源的結(jié)構(gòu)變化，進(jìn)行schema的自動(dòng)更新，同時(shí)進(jìn)行告警
- 查詢Schema變化歷史數(shù)據(jù)
監(jiān)控策略管理
策略配置
- 數(shù)據(jù)基準(zhǔn)監(jiān)控策略
- 數(shù)據(jù)質(zhì)量監(jiān)控策略
- 數(shù)據(jù)漂移監(jiān)控策略
- 數(shù)據(jù)核對(duì)監(jiān)控策略
- 用于比對(duì)當(dāng)前資產(chǎn)表和目標(biāo)資產(chǎn)表的數(shù)據(jù)，包括一致性、值比對(duì)等
策略執(zhí)行結(jié)果查看
數(shù)據(jù)評(píng)價(jià)體系
Metric 管理
- 內(nèi)置Metric，讓用戶開(kāi)箱即用
- 內(nèi)置多個(gè)維度多類(lèi)型的Metric
- 自定義Metric
- 支持SQL類(lèi)型的自定義語(yǔ)句
- 根據(jù)歷史數(shù)據(jù)自動(dòng)推斷合適的閾值
SLAs
issue管理
- 根據(jù)不同metric生成不同的issue警告，并可以管理issue的狀態(tài)，超時(shí)未處理會(huì)再通知、可以點(diǎn)擊誤報(bào)來(lái)關(guān)閉issue
告警插件管理
- 支持多種告警插件，包括郵箱、企業(yè)微信、釘釘、Slack等
