第一步：調(diào)研
1、業(yè)務(wù)調(diào)研：與業(yè)務(wù)人員座談，梳理業(yè)務(wù)過程，輸出業(yè)務(wù)流程圖及初步劃分出dwd層的主題域
2、需求調(diào)研：梳理過去、現(xiàn)在及將來的數(shù)據(jù)需求和BI需求，輸出數(shù)倉app層主題域
3、數(shù)據(jù)調(diào)研：獲取每個(gè)數(shù)據(jù)源、數(shù)據(jù)結(jié)構(gòu)說明書，整理數(shù)據(jù)字典，劃分每個(gè)表的業(yè)務(wù)線，同時(shí)確定每個(gè)庫表ods層的主題域
第二步：劃分主題域
確定主題域：通過業(yè)務(wù)調(diào)研、需求調(diào)研、數(shù)據(jù)調(diào)研三部整合，相互補(bǔ)充與舍棄，概況和抽象，最終確定數(shù)倉主題域v1.0
第三步：構(gòu)建總線矩陣、維度建模
總線矩陣：把總線架構(gòu)列表形成矩陣的形式
行：表示業(yè)務(wù)處理過程，即事實(shí)
列：表示一致性維度
在交叉點(diǎn)上打上標(biāo)記表示該業(yè)務(wù)處理過程與該維度相關(guān)（交叉探查）
維度建模：星型模型，四部建模：選擇業(yè)務(wù)過程、確定粒度、確定維度、確定事實(shí)
第四步：設(shè)計(jì)數(shù)倉分層架構(gòu)
ods
dwd
dws
ads
第五步：設(shè)計(jì)數(shù)倉規(guī)范
命名、模型規(guī)范、開發(fā)規(guī)范、流程規(guī)范、模型設(shè)計(jì)
設(shè)計(jì)規(guī)范：邏輯架構(gòu)、技術(shù)架構(gòu)、分層設(shè)計(jì)、主題劃分、方法論
命名規(guī)范：各層級(jí)命名、任務(wù)命名、表命名、字段命名
模型規(guī)范：維度建模、維度退化、元數(shù)據(jù)管理
開發(fā)規(guī)范：腳本注釋、字段別名、編碼規(guī)范、腳本格式、數(shù)據(jù)類型、縮寫規(guī)范
流程規(guī)范：需求流程、工程流程、上行流程、調(diào)度流程、代碼review
模型設(shè)計(jì)包含概念模型、邏輯模型、物理模型
概念模型：概念模型是確定領(lǐng)域?qū)嶓w屬性關(guān)系等，使用E-R圖表示，E-R圖主要是由實(shí)體（矩形）、屬性（橢圓形）和聯(lián)系（菱形）三個(gè)要素構(gòu)成的。??
邏輯模型：把概念模型進(jìn)行進(jìn)一步的分解，即E-R圖向關(guān)系模型的轉(zhuǎn)換
E-R圖向關(guān)系模型的轉(zhuǎn)換是要解決如何將實(shí)體和實(shí)體間的聯(lián)系轉(zhuǎn)換為關(guān)系，并確定這些關(guān)系的屬性和碼。這種轉(zhuǎn)換一般按下面的原則進(jìn)行：1）一個(gè)實(shí)體轉(zhuǎn)換為一個(gè)關(guān)系，實(shí)體的屬性就是關(guān)系的屬性，實(shí)體的碼就是關(guān)系的碼。2）一個(gè)聯(lián)系也轉(zhuǎn)換為一個(gè)關(guān)系，聯(lián)系的屬性及聯(lián)系所連接的實(shí)體的碼都轉(zhuǎn)換為關(guān)系的屬性；說白了就是E-R圖中實(shí)體、屬性、聯(lián)系這三者都轉(zhuǎn)換成實(shí)體，并且把實(shí)體的具體屬性都羅列出來
物理模型：把邏輯模型轉(zhuǎn)換成數(shù)據(jù)庫能識(shí)別的語言，包含表名、字段名、字段類型、主鍵、外鍵等
第六步：數(shù)據(jù)治理
數(shù)據(jù)治理：完整性、準(zhǔn)確性、一致性、及時(shí)性
主鍵監(jiān)控、表數(shù)據(jù)量及波動(dòng)監(jiān)控、重要字段的非孔監(jiān)控、重要枚舉字段的離散值監(jiān)控、指標(biāo)值波動(dòng)監(jiān)控、業(yè)務(wù)規(guī)則監(jiān)控等
元數(shù)據(jù)管理：技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)
技術(shù)元數(shù)據(jù)：metastore、數(shù)據(jù)字典、系統(tǒng)庫、調(diào)度日志、作業(yè)依賴、血緣關(guān)系等
業(yè)務(wù)元數(shù)據(jù)：業(yè)務(wù)規(guī)則、指標(biāo)術(shù)語、行業(yè)規(guī)范等
數(shù)據(jù)審計(jì)：數(shù)據(jù)權(quán)限和數(shù)據(jù)安全
數(shù)據(jù)權(quán)限：用戶授權(quán)、用戶認(rèn)證、權(quán)限管理、角色管理、定期授權(quán)審查
數(shù)據(jù)安全：數(shù)據(jù)存儲(chǔ)安全（外部表、跳板機(jī)）、數(shù)據(jù)使用安全權(quán)限等、敏感數(shù)據(jù)發(fā)現(xiàn)、脫敏、權(quán)限、訪問監(jiān)控
