一. 數(shù)據(jù)模型架構(gòu)原則

1.1 數(shù)據(jù)倉庫分層

分層的好處：

1. 清晰數(shù)據(jù)結(jié)構(gòu)；
2. 數(shù)據(jù)血緣追蹤；
3. 減少重復開發(fā)；
4. 數(shù)據(jù)關(guān)系條理化；
5. 屏蔽原始數(shù)據(jù)的影響。

image.png

當前DW結(jié)構(gòu)現(xiàn)況

image.png

1.1.1 ODS(源數(shù)據(jù)層)

??ODS 層，是最接近數(shù)據(jù)源中數(shù)據(jù)的一層，為了考慮后續(xù)可能需要追溯數(shù)據(jù)問題，因此對于這一層就不建議做過多的數(shù)據(jù)清洗工作，原封不動地接入原始數(shù)據(jù)即可，至于數(shù)據(jù)的去噪、去重、異常值處理等過程可以放在后面的 DWD 層來做。

1.1.2 DW(數(shù)據(jù)倉庫層)

??數(shù)據(jù)倉庫層是我們在做數(shù)據(jù)倉庫時要核心設計的一層，在這里，從 ODS 層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型。

??DW 層又細分為 DWD（Data Warehouse Detail）層、DWM（Data WareHouse Middle）層和 DWS（Data WareHouse Servce） 層。

1.1.2.1 數(shù)據(jù)明細層：DWD（Data Warehouse Detail）

??該層一般保持和 ODS 層一樣的數(shù)據(jù)粒度，并且提供一定的數(shù)據(jù)質(zhì)量保證。DWD 層要做的就是將數(shù)據(jù)清理、整合、規(guī)范化、臟數(shù)據(jù)、垃圾數(shù)據(jù)、規(guī)范不一致的、狀態(tài)定義不一致的、命名不規(guī)范的數(shù)據(jù)都會被處理。

??同時，為了提高數(shù)據(jù)明細層的易用性，該層會采用一些維度退化手法，將維度退化至事實表中，減少事實表和維表的關(guān)聯(lián)。

??另外，在該層也會做一部分的數(shù)據(jù)聚合，將相同主題的數(shù)據(jù)匯集到一張表中，提高數(shù)據(jù)的可用性 。

image.png

1.1.2.2 數(shù)據(jù)中間層：DWM（Data WareHouse Middle）

??該層會在 DWD 層的數(shù)據(jù)基礎上，數(shù)據(jù)做輕度的聚合操作，生成一系列的中間表，提升公共指標的復用性，減少重復加工。

??直觀來講，就是對通用的核心維度進行聚合操作，算出相應的統(tǒng)計指標。

??在實際計算中，如果直接從 DWD 或者 ODS 計算出寬表的統(tǒng)計指標，會存在計算量太大并且維度太少的問題，因此一般的做法是，在 DWM 層先計算出多個小的中間表，然后再拼接成一張 DWS 的寬表。由于寬和窄的界限不易界定，也可以去掉 DWM 這一層，只留 DWS 層，將所有的數(shù)據(jù)再放在 DWS 亦可。

image.png

1.1.2.3 數(shù)據(jù)服務層：DWS（Data WareHouse Servce）

??DWS 層為公共匯總層，會進行輕度匯總，粒度比明細數(shù)據(jù)稍粗，基于 DWD 層上的基礎數(shù)據(jù)，整合匯總成分析某一個主題域的服務數(shù)據(jù)，一般是寬表。DWS 層應覆蓋 80% 的應用場景。又稱數(shù)據(jù)集市或?qū)挶怼?/p>

??按照業(yè)務劃分，如主題域流量、訂單、用戶等，生成字段比較多的寬表，用于提供后續(xù)的業(yè)務查詢，OLAP 分析，數(shù)據(jù)分發(fā)等。

??一般來講，該層的數(shù)據(jù)表會相對比較少，一張表會涵蓋比較多的業(yè)務內(nèi)容，由于其字段較多，因此一般也會稱該層的表為寬表。

image.png

1.1.3 ADS(數(shù)據(jù)應用層)

??在這里，主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會存放在 ES、MySQL、 PostgreSql、Redis 等系統(tǒng)中供線上系統(tǒng)使用，也可能會存在 Hive 或者 Druid 中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用。比如我們經(jīng)常說的報表數(shù)據(jù)，一般就放在這里。

1.1.4 維表層（Dimension）

??如果維表過多，也可針對維表設計單獨一層，維表層主要包含兩部分數(shù)據(jù)：
??1. 高基數(shù)維度數(shù)據(jù)：一般是用戶資料表、商品資料表類似的資料表。數(shù)據(jù)量可能是千萬級或者上億級別。
??2. 低基數(shù)維度數(shù)據(jù)：一般是配置表，比如枚舉值對應的中文含義，或者日期維表。 數(shù)據(jù)量可能是個位數(shù)或者幾千幾萬。

1.2 主題域劃分原則

??主題域是指為了實現(xiàn)企業(yè)預定目標，根據(jù)數(shù)據(jù)的固有屬性對企業(yè)數(shù)據(jù)進行分類而獲得的數(shù)據(jù)集合，主題域是企業(yè)數(shù)據(jù)架構(gòu)最上層的數(shù)據(jù)集合，需要注意的是進行分類時并非是基于業(yè)務流程進行的。一般對表示業(yè)務的主體、對象、行為的數(shù)據(jù)進行分組。

1.2.1 按照業(yè)務或業(yè)務過程劃分

??業(yè)務容易理解，就是指的功能模塊/業(yè)務線。

??業(yè)務過程：指企業(yè)的業(yè)務活動事件，如下單、支付、退款都是業(yè)務過程。不過需要注意的是，一個業(yè)務過程是一個不可拆分的行為事件，通俗的講，業(yè)務過程就是企業(yè)活動中的事件。

1.2.2 按照數(shù)據(jù)域劃分

??數(shù)據(jù)域是指面向業(yè)務分析，將業(yè)務過程或者維度進行抽象的集合。其中，業(yè)務過程可以概括為一個個不可拆分的行為事件，在業(yè)務過程下，可以定義指標，維度是指度量的環(huán)境，如買家下單事件，買家是維度。為保障整個體系的生命力，數(shù)據(jù)域是需要抽象提煉，并且長期維護和更新的，但不輕易變動。在劃分數(shù)據(jù)域時，既能涵蓋當前所有的業(yè)務需求，又能在新業(yè)務進入時無影響地被包含進已有的數(shù)據(jù)域中和擴展新的數(shù)據(jù)域。

1.3 數(shù)據(jù)模型設計原則

當事人模型:
無論是何種業(yè)務場景，都可以套用該模型

image.png

數(shù)據(jù)框架

image.png

1. 高內(nèi)聚、低耦合
   ??即主題內(nèi)部高內(nèi)聚、 不同主題間低耦合。明細層按照業(yè)務過程劃分主題，匯總層按照“實體+ 活動”劃分不同分析主題，應用層根據(jù)應用需求劃分不同應用主題。

2. 核心模型和擴展模型要分離
   ??建立核心模型與擴展模型體系，核心模型包括的字段支持常用的核心業(yè)務，擴展模型包括的字段支持個性化或少量應用的需要，不能讓擴展模型的字段過度侵入核心模型，以免破壞核心模型的架構(gòu)簡潔性與可維護性。

3. 公共處理邏輯下沉及單一
   ??越是底層公用的處理邏輯越應該在數(shù)據(jù)調(diào)度依賴的底層進行封裝與實現(xiàn)，不要讓公用的處理邏輯暴露給應用實現(xiàn)，不要讓公共邏輯多處同時存在。

4. 成本與性能平衡
   ??適當?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復制。

5. 數(shù)據(jù)可回滾
   ??處理邏輯不變，在不同時間多次運行數(shù)據(jù)結(jié)果確定不變。

二. 數(shù)倉公共開發(fā)規(guī)范

2.1 層次調(diào)用規(guī)范

??穩(wěn)定業(yè)務按照標準的數(shù)據(jù)流向進行開發(fā)，即 ODS –> DWD –> DWS –> ADS。非穩(wěn)定業(yè)務或探索性需求，可以遵循 ODS -> DWD -> ADS 或者 ODS -> DWD -> DWM ->ADS 兩個模型數(shù)據(jù)流。

禁止出現(xiàn)反向依賴

2.2 數(shù)據(jù)類型規(guī)范

需統(tǒng)一規(guī)定不同的數(shù)據(jù)的數(shù)據(jù)類型，嚴格按照規(guī)定的數(shù)據(jù)類型執(zhí)行：

1. 金額：double 或使用 decimal(28,6) 控制精度等，明確單位是分還是元。
2. 字符串：string。
3. id類：bigint。
4. 時間：string。
5. 狀態(tài)：string

2.3 數(shù)據(jù)冗余規(guī)范

寬表的冗余字段要確保：

1. 冗余字段要使用高頻，下游3個或以上使用。
2. 冗余字段引入不應造成本身數(shù)據(jù)產(chǎn)生過多的延后。
3. 冗余字段和已有字段的重復率不應過大，原則上不應超過60%，如需要可以選擇join或原表拓展。

2.4 NULL字段處理規(guī)范

對于維度字段，需設置為-1
對于指標字段，需設置為 0

2.5 指標口徑規(guī)范

保證主題域內(nèi)，指標口徑一致，無歧義。
??通過數(shù)據(jù)分層，提供統(tǒng)一的數(shù)據(jù)出口，統(tǒng)一對外輸出的數(shù)據(jù)口徑，避免同一指標不同口徑的情況發(fā)生。

1. 指標梳理
   ??指標口徑的不一致使得數(shù)據(jù)使用的成本極高，經(jīng)常出現(xiàn)口徑打架、反復核對數(shù)據(jù)的問題。在數(shù)據(jù)治理中，我們將需求梳理到的所有指標進行進一步梳理，明確其口徑，如果存在兩個指標名稱相同，但口徑不一致，先判斷是否是進行合并，如需要同時存在，那么在命名上必須能夠區(qū)分開。

2. 指標管理
   ??指標管理分為原子指標維護和派生指標維護。
   原子指標：
   ??選擇原子指標的歸屬產(chǎn)線、業(yè)務板塊、數(shù)據(jù)域、業(yè)務過程
   ??選擇原子指標的統(tǒng)計數(shù)據(jù)來源于該業(yè)務過程下的原始數(shù)據(jù)源
   ??錄入原子指標的英文名稱、中文名稱、概述
   ??填寫指標函數(shù)
   ??系統(tǒng)根據(jù)指標函數(shù)自動生成原子指標的定義表達式
   ??系統(tǒng)根據(jù)指標定義表達式以及數(shù)據(jù)源表生成原子指標SQL
   派生指標：
   ??在原子指標的基礎之上選擇了一些維度或者修飾限定詞。

2.6 數(shù)據(jù)表處理規(guī)范

2.6.1 增量表

新增數(shù)據(jù)，增量數(shù)據(jù)是上次導出之后的新數(shù)據(jù)。

1. 記錄每次增加的量，而不是總量；
2. 增量表，只報變化量，無變化不用報；
3. 每天一個分區(qū)。

2.6.2 全量表

每天的所有的最新狀態(tài)的數(shù)據(jù)。

1. 全量表，有無變化，都要報；
2. 每次上報的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）；
3. 只有一個分區(qū)。

2.6.3 快照表

按日分區(qū)，記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)。

1. 快照表，有無變化，都要報；
2. 每次上報的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）；
3. 一天一個分區(qū)。

2.6.4 拉鏈表

記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)。

1. 記錄一個事物從開始，一直到當前狀態(tài)的所有變化的信息；
2. 拉鏈表每次上報的都是歷史記錄的最終狀態(tài)，是記錄在當前時刻的歷史總 量；
3. 當前記錄存的是當前時間之前的所有歷史記錄的最后變化量（總量）；
4. 只有一個分區(qū)。

2.7 表的生命周期管理

??這部分主要是要通過對歷史數(shù)據(jù)的等級劃分與對表類型的劃分生成相應的生命周期管理矩陣。

2.7.1 歷史數(shù)據(jù)等級劃分

主要將歷史數(shù)據(jù)劃分P0、Pl、P2、P3 四個等級，其具體定義如下：

1. P0 ：非常重要的主題域數(shù)據(jù)和非常重要的應用數(shù)據(jù)，具有不可恢復性，如交易、日志、集團 KPI 數(shù)據(jù)、 IPO 關(guān)聯(lián)表。
2. P1 ：重要的業(yè)務數(shù)據(jù)和重要的應用數(shù)據(jù)，具有不可恢復性，如重要的業(yè)務產(chǎn)品數(shù)據(jù)。
3. P2 ：重要的業(yè)務數(shù)據(jù)和重要的應用數(shù)據(jù)，具有可恢復性，如交易線 ETL 產(chǎn)生的中間過程數(shù)據(jù)。
4. P3 ：不重要的業(yè)務數(shù)據(jù)和不重要的應用數(shù)據(jù)，具有可恢復性，如某些 SNS 產(chǎn)品報表。

2.7.2 表類型劃分

1. 事件型流水表（增量表）
   ??事件型流水表（增量表）指數(shù)據(jù)無重復或者無主鍵數(shù)據(jù)，如日志。

2. 事件型鏡像表（增量表）
   ??事件型鏡像表（增量表）指業(yè)務過程性數(shù)據(jù)，有主鍵，但是對于同樣主鍵的屬性會發(fā)生緩慢變化，如交易、訂單狀態(tài)與時間會根據(jù)業(yè)務發(fā)生變更。

3. 維表
   ??維表包括維度與維度屬性數(shù)據(jù)，如用戶表、商品表。

4. Merge 全量表
   ??Merge 全量表包括業(yè)務過程性數(shù)據(jù)或者維表數(shù)據(jù)。由于數(shù)據(jù)本身有新增的或者發(fā)生狀態(tài)變更，對于同樣主鍵的數(shù)據(jù)可能會保留多份，因此可以對這些數(shù)據(jù)根據(jù)主鍵進行 Merge 操作，主鍵對應的屬性只會保留最新狀態(tài)，歷史狀態(tài)保留在前一天分區(qū) 中。例如，用戶表、交易表等都可以進行 Merge 操作。

5. ETL 臨時表
   ??ETL 臨時表是指 ETL 處理過程中產(chǎn)生的臨時表數(shù)據(jù)，一般不建議保留，最多7天。

6. TT 臨時數(shù)據(jù)
   ??TT 拉取的數(shù)據(jù)和 DbSync 產(chǎn)生的臨時數(shù)據(jù)最終會流轉(zhuǎn)到 DS 層，ODS 層數(shù)據(jù)作為原始數(shù)據(jù)保留下來，從而使得 TT&DbSync 上游數(shù)據(jù)成為臨時數(shù)據(jù)。這類數(shù)據(jù)不建議保留很長時間，生命周期默認設置為 93天，可以根據(jù)實際情況適當減少保留天數(shù)。

7. 普通全量表
   ??很多小業(yè)務數(shù)據(jù)或者產(chǎn)品數(shù)據(jù)，BI一般是直接全量拉取，這種方式效率快，對存儲壓力也不是很大，而且表保留很長時間，可以根據(jù)歷史數(shù)據(jù)等級確定保留策略。
   ??通過上述歷史數(shù)據(jù)等級劃分與表類型劃分，生成相應的生命周期管理矩陣，如下表所示：

   
   
   image.png
   
   
   image.png

三. 數(shù)倉各層開發(fā)規(guī)范

3.1 ODS層設計規(guī)范

3.1.1 同步規(guī)范：

1. 一個系統(tǒng)源表只允許同步一次；
2. 全量初始化同步和增量同步處理邏輯要清晰；
3. 以統(tǒng)計日期和時間進行分區(qū)存儲；
4. 目標表字段在源表不存在時要自動填充處理。

3.1.2 表分類與生命周期：

1. ods流水全量表：
   不可再生的永久保存；
   日志可按留存要求；
   按需設置保留特殊日期數(shù)據(jù)；
   按需設置保留特殊月份數(shù)據(jù)；

2. ods鏡像型全量表：
   推薦按天存儲；
   對歷史變化進行保留；
   最新數(shù)據(jù)存儲在最大分區(qū)；
   歷史數(shù)據(jù)按需保留；

3. ods增量數(shù)據(jù)：
   推薦按天存儲；
   有對應全量表的，建議只保留14天數(shù)據(jù)；
   無對應全量表的，永久保留；

4. ods的etl過程中的臨時表：
   推薦按需保留；
   最多保留7天；
   建議用完即刪，下次使用再生成；

5. BDSync非去重數(shù)據(jù)：
   通過中間層保留，默認用完即刪，不建議保留。

3.1.3 數(shù)據(jù)質(zhì)量

1. 全量表必須配置唯一性字段標識；
2. 對分區(qū)空數(shù)據(jù)進行監(jiān)控；
3. 對枚舉類型字段，進行枚舉值變化和分布監(jiān)控；
4. ods表數(shù)據(jù)量級和記錄數(shù)做環(huán)比監(jiān)控；
5. ods全表都必須要有注釋；

3.2 公共維度層設計規(guī)范

3.2.1 設計準則

1. 一致性
   公共維度在不同的物理表中的字段名稱、數(shù)據(jù)類型、數(shù)據(jù)內(nèi)容必須保持一致（歷史原因不一致，要做好版本控制）

2. 維度的組合與拆分
   組合原則：
   ??將維度與關(guān)聯(lián)性強的字段進行組合，一起查詢，一起展示，兩個維度必須具有天然的關(guān)系，如：商品的基本屬性和所屬品牌。
   ??無相關(guān)性：如一些使用頻率較小的雜項維度，可以構(gòu)建一個集合雜項維度的特殊屬性。
   ??行為維度：經(jīng)過計算的度量，但下游當維度處理，例：點擊量 0-1000,100-1000等，可以做聚合分類。
   拆分與冗余：
   ??針對重要性，業(yè)務相關(guān)性、源、使用頻率等可分為核心表、擴展表。
   ??數(shù)據(jù)記錄較大的維度，可以適當冗余一些子集。

3.2.2 存儲及生命周期管理

建議按天分區(qū)：
3個月內(nèi)最大訪問跨度<=4天時，建議保留最近7天分區(qū)；
3個月內(nèi)最大訪問跨度<=12天時，建議保留最近15天分區(qū)；
3個月內(nèi)最大訪問跨度<=30天時，建議保留最近33天分區(qū)；
3個月內(nèi)最大訪問跨度<=90天時，建議保留最近120天分區(qū)；
3個月內(nèi)最大訪問跨度<=180天時，建議保留最近240天分區(qū)；
3個月內(nèi)最大訪問跨度<=300天時，建議保留最近400天分區(qū)；

3.3 DWD明細層設計規(guī)范

3.3.1 存儲及生命周期管理

建議按天分區(qū)：
3個月內(nèi)最大訪問跨度<=4天時，建議保留最近7天分區(qū)；
3個月內(nèi)最大訪問跨度<=12天時，建議保留最近15天分區(qū)；
3個月內(nèi)最大訪問跨度<=30天時，建議保留最近33天分區(qū)；
3個月內(nèi)最大訪問跨度<=90天時，建議保留最近120天分區(qū)；
3個月內(nèi)最大訪問跨度<=180天時，建議保留最近240天分區(qū)；
3個月內(nèi)最大訪問跨度<=300天時，建議保留最近400天分區(qū)；

3.3.2 事務型事實表設計準則

??基于數(shù)據(jù)應用需求的分析設計事務型事實表，結(jié)合下游較大的針對某個業(yè)務過程和分析指標需求，可考慮基于某個事件過程構(gòu)建事務型實時表；

??一般選用事件的發(fā)生日期或時間作為分區(qū)字段，便于掃描和裁剪；
冗余子集原則，有利于降低后續(xù)IO開銷；

??明細層事實表維度退化，減少后續(xù)使用join成本。

3.3.3 周期快照事實表

??周期快照事實表中的每行匯總了發(fā)生在某一標準周期，如某一天、某周、某月的多個度量事件。

??粒度是周期性的，不是個體的事務。

??通常包含許多事實，因為任何與事實表粒度一致的度量事件都是被允許的。

3.3.4 累積快照事實表

??多個業(yè)務過程聯(lián)合分析而構(gòu)建的事實表，如采購單的流轉(zhuǎn)環(huán)節(jié)。

??用于分析事件時間和時間之間的間隔周期。

??少量的且當前事務型不支持的，如關(guān)閉、發(fā)貨等相關(guān)的統(tǒng)計。

3.4 DWS公共匯總層設計規(guī)范

??數(shù)據(jù)倉庫的性能是數(shù)據(jù)倉庫建設是否成功的重要標準之一。聚集主要是通過匯總明細粒度數(shù)據(jù)來獲得改進查詢性能的效果。通過訪問聚集數(shù)據(jù)，可以減少數(shù)據(jù)庫在響應查詢時必須執(zhí)行的工作量，能夠快速響應用戶的查詢，同時有利于減少不同用訪問明細數(shù)據(jù)帶來的結(jié)果不一致問題。

3.4.1 聚集的基本原則

1. 一致性。聚集表必須提供與查詢明細粒度數(shù)據(jù)一致的查詢結(jié)果。

2. 避免單一表設計。不要在同一個表中存儲不同層次的聚集數(shù)據(jù)。

3. 聚集粒度可不同。聚集并不需要保持與原始明細粒度數(shù)據(jù)一樣的粒度，聚集只關(guān)心所需要查詢的維度。

3.4.2 聚集的基本步驟

第一步：確定聚集維度
??在原始明細模型中會存在多個描述事實的維度，如日期、商品類別、賣家等，這時候需要確定根據(jù)什么維度聚集，如果只關(guān)心商品的交易額情況，那么就可以根據(jù)商品維度聚集數(shù)據(jù)。

第二步：確定一致性上鉆
??這時候要關(guān)心是按月匯總還是按天匯總，是按照商品匯總還是按照類目匯總，如果按照類目匯總，還需要關(guān)心是按照大類匯總還是小類匯總。當然，我們要做的只是了解用戶需要什么，然后按照他們想要的進行聚集。

第三步：確定聚集事實
??在原始明細模型中可能會有多個事實的度量，比如在交易中有交易額、交易數(shù)量等，這時候要明確是按照交易額匯總還是按照成交數(shù)量匯總。

3.4.3 公共匯總層設計原則

??除了聚集基本的原則外，公共匯總層還必須遵循以下原則：

1. 數(shù)據(jù)公用性。匯總的聚集會有第三者使用嗎？基于某個維度的聚集是不是經(jīng)常用于數(shù)據(jù)分析中？如果答案是肯定的，那么就有必要把明細數(shù)據(jù)經(jīng)過匯總沉淀到聚集表中。

2. 不跨數(shù)據(jù)域。數(shù)據(jù)域是在較高層次上對數(shù)據(jù)進行分類聚集的抽象。

3. 區(qū)分統(tǒng)計周期。在表的命名上要能說明數(shù)據(jù)的統(tǒng)計周期，如 _Id 表示最近1天，_td 表示截至當天，_nd 表示最近N天。

四. 數(shù)據(jù)倉庫命名規(guī)范

4.1 表命名規(guī)范

一個中小型數(shù)據(jù)倉庫命名規(guī)范

image.png

4.2 詞根設計規(guī)范

??詞根屬于數(shù)倉建設中的規(guī)范，屬于元數(shù)據(jù)管理的范疇，現(xiàn)在把這個劃到數(shù)據(jù)治理的一部分。完整的數(shù)倉建設是包含數(shù)據(jù)治理的，只是現(xiàn)在談到數(shù)倉偏向于數(shù)據(jù)建模， 而談到數(shù)據(jù)治理，更多的是關(guān)于數(shù)據(jù)規(guī)范、數(shù)據(jù)管理。

?表命名，其實在很大程度上是對元數(shù)據(jù)描述的一種體現(xiàn)，表命名規(guī)范越完善，我 們能從表名獲取到的信息就越多。比如：一部分業(yè)務是關(guān)于貨架的，英文名是：rack， rack 就是一個詞根，那我們就在所有的表、字段等用到的地方都叫 rack，不要叫成 別的什么。這就是詞根的作用，用來統(tǒng)一命名，表達同一個含義。

?指標體系中有很多“率”的指標，都可以拆解成 XXX+率，率可以叫 rate，那我 們所有的指標都叫做 XXX+rate。

?詞根：可以用來統(tǒng)一表名、字段名、主題域名等等。

?舉例： 以流程圖的方式來展示，更加直觀和易懂，本圖側(cè)重 dwm 層表的命名 規(guī)范，其余命名是類似的道理：

image.png

1. 分層：表的使用范圍

2. 事業(yè)群和部門：生產(chǎn)該表或者該數(shù)據(jù)的團隊

3. 業(yè)務線：表明該數(shù)據(jù)是哪個產(chǎn)品或者業(yè)務線相關(guān)

4. 主題域：分析問題的角度，對象實體

5. 自定義：一般會盡可能多描述該表的信息，比如活躍表、留存表等

6. 更新周期：比如說天級還是月級更新

4.3 指標命名規(guī)范

4.3.1 公共規(guī)則

1. 所有單詞小寫
2. 單詞之間下劃線分割（反例：appName 或 AppName）
3. 可讀性優(yōu)于長度 (詞根，避免出現(xiàn)同一個指標，命名一致性)
4. 禁止使用 sql 關(guān)鍵字，如字段名與關(guān)鍵字沖突時 +col
5. 數(shù)量字段后綴 _cnt 等標識...
6. 金額字段后綴 _price 標識
7. 天分區(qū)使用字段 dt，格式統(tǒng)一（yyyymmdd 或 yyyy-mm-dd）
8. 小時分區(qū)使用字段 hh，范圍（00-23）
9. 分鐘分區(qū)使用字段 mi，范圍（00-59）
10. 布爾類型標識：is_{業(yè)務}，不允許出現(xiàn)空值

4.3.2 指標命名規(guī)范

結(jié)合指標的特性以及詞根管理規(guī)范，將指標進行結(jié)構(gòu)化處理。

1. 基礎指標詞根，即所有指標必須包含以下基礎詞根：

   
   
   image.png

2. 業(yè)務修飾詞，用于描述業(yè)務場景的詞匯，例如trade-交易。

3. 日期修飾詞，用于修飾業(yè)務發(fā)生的時間區(qū)間。

   
   
   image.png

4. 聚合修飾詞，對結(jié)果進行聚集操作。

   
   
   image.png

5.基礎指標，單一的業(yè)務修飾詞+基礎指標詞根構(gòu)建基礎指標 ，例如：交易金額-transaction_amt。

6.派生指標，多修飾詞+基礎指標詞根構(gòu)建派生指標。派生指標繼承基礎指標的特性，例如：安裝門店數(shù)量-install_poi_cnt。

7.普通指標命名規(guī)范，與字段命名規(guī)范一致，由詞匯轉(zhuǎn)換即可以。

image.png

參考:

1. https://zhuanlan.zhihu.com/p/432010167
2. 《大數(shù)據(jù)之路：阿里巴巴大數(shù)據(jù)實踐》
3. 《數(shù)倉工具箱：維度建模權(quán)威指南 第三版》