大數(shù)據(jù)領(lǐng)域建模綜述

一.典型的數(shù)據(jù)倉庫建模方法論

1.ER模型

建模分為3個階段:

高層模型:一個高度抽象的模型,描述的是主題以及主題之間的關(guān)系。

中層模型:細(xì)化主題的數(shù)據(jù)項(xiàng)

物理模型:物理存儲。


2.維度模型

維度建模是從分析決策?的需求出發(fā)構(gòu)建模型,為分析需求服務(wù)。星型,雪花模型分為如下幾個階段:

1.選擇需要進(jìn)行分析決策的業(yè)務(wù)過程。

2.選擇粒度。

3.識別維表

4.選擇事實(shí)。

3.Data Vault模型

Data Vault重點(diǎn)在于根據(jù)業(yè)務(wù)進(jìn)行數(shù)據(jù)整合,弱化數(shù)據(jù)一致性。分為如下幾個部分:

Hub?業(yè)務(wù)實(shí)體,Repository.

Link?連接Hub,表示Hub之間的關(guān)系

Satellite:Hub的詳細(xì)內(nèi)容,一個Hub由多個Satellite組成。

二.模型設(shè)計(jì)的基本原則

1.高內(nèi)聚,低耦合

2.核心模型與擴(kuò)展模型分離

3.公共處理邏輯下沉及單一

4.成本與性能平衡

5.數(shù)據(jù)可回滾

6.一致性:具備相同含義的字段在不同表的命名必須相同。

7.命名清晰,可理解。


三.模型的實(shí)施

1.Kimball維度實(shí)施過程

需要討論需求分析,高層模型,詳情模型和模型審查。

高層模型:目標(biāo)是創(chuàng)建高層維度模型圖,它是對業(yè)務(wù)過程中的維表和事實(shí)表的圖形描述。確定維表創(chuàng)建初始化屬性列表,為每個事實(shí)表創(chuàng)建提議度量。

詳細(xì)模型:詳細(xì)的維度建模過程是為高層模型填補(bǔ)確實(shí)的信息。

模型省察,再設(shè)計(jì)和驗(yàn)證

提交ETL設(shè)計(jì)和開發(fā)

2.Inmon模型實(shí)施過程

Inmon對數(shù)據(jù)模型的定位是:扮演著通往數(shù)據(jù)倉庫其他部分的智能路線圖的角色。由于數(shù)據(jù)倉庫的建設(shè)不是一蹴而就,為了協(xié)調(diào)不同人的工作,有必要建立一個路線圖--數(shù)據(jù)模型,描述數(shù)據(jù)倉庫各部分是如何結(jié)合在一起的。

ERD(實(shí)體關(guān)系層) DIS(數(shù)據(jù)項(xiàng)集)?物理層(物理模型)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容