【數(shù)據(jù)倉庫】數(shù)倉模型及架構(gòu)

一、名詞解釋

1. 基礎(chǔ)層-ODS(操作型數(shù)據(jù)存儲):主要是未經(jīng)過加工的原始數(shù)據(jù);//與原數(shù)據(jù)一致,記錄事實的數(shù)據(jù);

2. 中間層-CDM\EDW(EDW-企業(yè)級數(shù)據(jù)庫,CDM-公共維度模型層):經(jīng)過加工整合的數(shù)據(jù)層,包含整合好的明細數(shù)據(jù)和匯總數(shù)據(jù)

① Dwd-明細整合層:一般從ODS層進來之后,會在DWD層做一個簡單的數(shù)據(jù)清洗加工;

② Dws-高密度匯總層:主題寬表,從DWD層進入到DWS層進行數(shù)據(jù)匯總;

③ Dim-維度表;

④ Dwb-基礎(chǔ)數(shù)據(jù)層:建立在dwd明細層之前的,相當于ods層進行一些基礎(chǔ)簡單的加工;

3. 應(yīng)用層-ADM(應(yīng)用數(shù)據(jù)集市):數(shù)據(jù)應(yīng)用或數(shù)據(jù)集市所在的層次

4. 數(shù)據(jù)域/主題域:數(shù)據(jù)管理和數(shù)據(jù)整合的數(shù)據(jù)抽象集合。數(shù)據(jù)域相對穩(wěn)定,主要用于中間層建設(shè)。

5. 數(shù)據(jù)倉庫-DW(Data Warehouse)


二、數(shù)倉模型


數(shù)倉模型

ODS層:ODS層中存放的還是各個分散系統(tǒng)中的數(shù)據(jù),ODS層會進行ETL之后會抽取進入到DWD層;

DWD層:相當于把來自不同系統(tǒng)的互數(shù)據(jù)進行集成,大白話來說需要把來自不同系統(tǒng)中的數(shù)據(jù),整合到一張數(shù)據(jù)表中,但是還是以明細的形式存在;

dim表:維度表,一般維度用字母或者數(shù)字表示,需要知道這個數(shù)據(jù)的含義是什么;

DWS層:?聚合之后的統(tǒng)計值,數(shù)倉的目的是為了面向分析,不需要看明細。

ADM層:各業(yè)務(wù)定制化的數(shù)據(jù),面向應(yīng)用;


三、數(shù)據(jù)(表)多維模型

星型模型&雪花模型



案例示意


四、傳統(tǒng)數(shù)倉架構(gòu)


傳統(tǒng)數(shù)倉架構(gòu)圖

流數(shù)據(jù):相當于一個實時的概念,例如這一秒發(fā)生的一個訂單就實時的流進來了;

塊數(shù)據(jù):例如,這一秒發(fā)生的訂單先攢起來,攢一天之后然后把這1天所攢的數(shù)據(jù)一起同步進來。這是一個離線的過程,不隨時間流動,不是實時數(shù)據(jù);

ETL:抽取、轉(zhuǎn)換、加載;

實時計算:又稱實時數(shù)倉;

調(diào)度:ETL的過程相當于是寫一些腳本,可以理解為寫一些SQL,每一個SQL去加工一部分數(shù)據(jù);加工數(shù)據(jù)會有一步一步的順序鏈路,這些鏈路會形成任務(wù)進行調(diào)度。

監(jiān)控:數(shù)據(jù)質(zhì)量監(jiān)控;

Meta:元數(shù)據(jù),指描述數(shù)據(jù)的數(shù)據(jù)。描述字段的含義就叫做元數(shù)據(jù)。


五、數(shù)據(jù)鏈路及服務(wù)


數(shù)據(jù)鏈路及服務(wù)


六、數(shù)倉在數(shù)據(jù)中臺中的作用


以智能客服為例:

(1)業(yè)務(wù)方提出訴求:客戶通過在線客服進行咨詢時,是否能判斷客戶購買意愿強烈的程度;

(2)企業(yè)方:接受到訴求之后,因自身沒有數(shù)據(jù)基礎(chǔ)能力,于是去找了中臺;(企業(yè)方首先會進行數(shù)據(jù)采集,采集到的數(shù)據(jù)給到數(shù)據(jù)倉庫)

(3)數(shù)據(jù)倉庫結(jié)合自身的算法模型進行評級,將智能客服中的評級包裝成客戶意愿。并根據(jù)意愿強度去匹配不同的話術(shù)。

//數(shù)倉的作用:通過業(yè)務(wù)方的數(shù)據(jù),把數(shù)據(jù)采集進來,通過自身的算法模型預測評價。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容