本章節(jié)主要講業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)架構(gòu)設(shè)計(jì)
1 數(shù)據(jù)架構(gòu)定義
數(shù)據(jù)架構(gòu)在DAMA和TOGAF中有不同的定義，但是其核心都包括了三件事：數(shù)據(jù)架構(gòu)的終極目標(biāo)是支撐戰(zhàn)略；數(shù)據(jù)架構(gòu)的具體內(nèi)容包括數(shù)據(jù)需求、數(shù)據(jù)設(shè)計(jì)和數(shù)據(jù)管理；數(shù)據(jù)設(shè)計(jì)的內(nèi)容包括數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)存儲(chǔ)設(shè)計(jì)、數(shù)據(jù)流程設(shè)計(jì)。
數(shù)據(jù)領(lǐng)域的發(fā)展主要包括從OLTP到BI，再到BigData，技術(shù)變成API的發(fā)展從最早的Spark Streaming （低級(jí)API）到后來(lái)的Strucured Streaming（高級(jí)API），數(shù)據(jù)架構(gòu)從最早的數(shù)據(jù)架構(gòu)發(fā)展到企業(yè)數(shù)據(jù)管理。我們的數(shù)據(jù)管理能力成熟度模型標(biāo)準(zhǔn)是GB36073。
2 TOGAF的數(shù)據(jù)架構(gòu)方法
業(yè)務(wù)架構(gòu)、數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)、技術(shù)架構(gòu)在設(shè)計(jì)上都是9步，而且框架都一模一樣。
1）確定設(shè)計(jì)那些視點(diǎn)
2）開發(fā)基線數(shù)據(jù)架構(gòu)
3）開發(fā)目標(biāo)數(shù)據(jù)架構(gòu)
4）進(jìn)行差距分析
5）識(shí)別能力增量
6）架構(gòu)影響評(píng)估
7）干系人評(píng)審
8）敲定數(shù)據(jù)架構(gòu)
9）創(chuàng)建架構(gòu)文檔。
3 數(shù)據(jù)架構(gòu)的設(shè)計(jì)過(guò)程
數(shù)據(jù)架構(gòu)的實(shí)際工作內(nèi)容如下圖：
a 數(shù)據(jù)需求
數(shù)據(jù)需求=需要管理那些數(shù)據(jù)類型，包括根據(jù)不同領(lǐng)域的業(yè)務(wù)需求，識(shí)別生產(chǎn)庫(kù)、歷史庫(kù)、BI庫(kù)；識(shí)別主數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)類型；識(shí)別結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)；
b 靜態(tài)設(shè)計(jì)
靜態(tài)設(shè)計(jì)=邏輯數(shù)據(jù)模型+物理存儲(chǔ)與分布。靜態(tài)設(shè)計(jì)主要包括四個(gè)方面：數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)生命周期設(shè)計(jì)、數(shù)據(jù)存儲(chǔ)策略設(shè)計(jì)、數(shù)據(jù)分布策略設(shè)計(jì)。邏輯數(shù)據(jù)模型設(shè)計(jì)一般采用E－R圖設(shè)計(jì)。
c 動(dòng)態(tài)設(shè)計(jì)
動(dòng)態(tài)設(shè)計(jì)=數(shù)據(jù)流+數(shù)據(jù)沿襲+數(shù)據(jù)接口。動(dòng)態(tài)設(shè)計(jì)的核心是數(shù)據(jù)經(jīng)過(guò)什么樣的傳遞、路徑、處理方法和通過(guò)什么樣的交換接口。
d 數(shù)據(jù)管理
數(shù)據(jù)管理=數(shù)據(jù)標(biāo)準(zhǔn)+數(shù)據(jù)質(zhì)量+數(shù)據(jù)安全。數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)質(zhì)量的基礎(chǔ)，沒(méi)有數(shù)據(jù)標(biāo)準(zhǔn)就沒(méi)有數(shù)據(jù)質(zhì)量。數(shù)據(jù)安全可以認(rèn)為是數(shù)據(jù)標(biāo)準(zhǔn)的一個(gè)分類標(biāo)準(zhǔn)。
4 數(shù)據(jù)架構(gòu)設(shè)計(jì)實(shí)踐
a數(shù)據(jù)建模
1） 業(yè)務(wù)主體、業(yè)務(wù)域【巨粒度】－發(fā)現(xiàn)數(shù)據(jù)域
在巨粒度分析過(guò)程中，通常采用UC矩陣作為主力工具。UC矩陣是IBM公開發(fā)布的業(yè)務(wù)系統(tǒng)規(guī)劃（BSP）方法中的一種。UC矩陣分為橫縱兩個(gè)緯度。橫坐標(biāo)代表業(yè)務(wù)主體或者功能域，縱坐標(biāo)代表巨粒度的數(shù)據(jù)域。
2）業(yè)務(wù)流程【粗粒度】－發(fā)現(xiàn)數(shù)據(jù)實(shí)體、屬性、關(guān)系
粗粒度分析過(guò)程中，通常借助Archimate業(yè)務(wù)流程圖識(shí)別圖中每個(gè)流程片度相關(guān)的數(shù)據(jù)實(shí)體，最為方便。
3） 功能、特性【中粒度】－細(xì)化數(shù)據(jù)實(shí)體、屬性、關(guān)系
業(yè)務(wù)流程說(shuō)到底是圍繞業(yè)務(wù)的，而功能特性卻是“業(yè)務(wù)能力+系統(tǒng)能力”。
4）業(yè)務(wù)規(guī)則【細(xì)粒度】－細(xì)化數(shù)據(jù)實(shí)體、屬性、關(guān)系
明確業(yè)務(wù)規(guī)則，并逐條確認(rèn)數(shù)據(jù)模型是否支持他。
b 分析數(shù)據(jù)需求，識(shí)別數(shù)據(jù)類型
根據(jù)業(yè)務(wù)功能域識(shí)別結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。
c 數(shù)據(jù)數(shù)據(jù)模型，定義生命周期
數(shù)據(jù)表的設(shè)計(jì)至關(guān)重要。采用傳統(tǒng)表和事實(shí)表、維度表堆后續(xù)的計(jì)算很有幫助，盡量設(shè)計(jì)成靜態(tài)表。對(duì)大型的表進(jìn)行拆解。
d 規(guī)劃數(shù)據(jù)存儲(chǔ)，設(shè)計(jì)數(shù)據(jù)分布
在數(shù)據(jù)規(guī)劃中，將生產(chǎn)數(shù)據(jù)和歷史數(shù)據(jù)分離，再將結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分離，將音頻等文件單獨(dú)保存，在接線記錄數(shù)據(jù)庫(kù)表里保存其地址。
e 數(shù)據(jù)流、數(shù)據(jù)沿襲、數(shù)據(jù)交換格式設(shè)計(jì)
數(shù)據(jù)應(yīng)該經(jīng)過(guò)什么樣的流程或ETL方法進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)，為后面的分析做基礎(chǔ)。
5 總結(jié)
本章主要講了數(shù)據(jù)架構(gòu)的定義、組成以及數(shù)據(jù)架構(gòu)基于TOGAF的設(shè)計(jì)過(guò)程，并用具體的案例對(duì)5個(gè)步驟的過(guò)程進(jìn)行了演示。數(shù)據(jù)架構(gòu)的需求來(lái)源于業(yè)務(wù)架構(gòu)，但是最終的目標(biāo)也是支撐業(yè)務(wù)實(shí)現(xiàn)，滿足最初的規(guī)劃需求。而整個(gè)過(guò)程的難點(diǎn)是數(shù)據(jù)模型識(shí)別的充分性、完整性以及數(shù)據(jù)庫(kù)表規(guī)劃的合理性。前者關(guān)系到數(shù)據(jù)能否支撐業(yè)務(wù)的全面開戰(zhàn)，后者關(guān)系到業(yè)務(wù)活動(dòng)能夠及時(shí)響應(yīng)以及后續(xù)的更新升級(jí)。比如一個(gè)字段很多的大表設(shè)計(jì)對(duì)于一個(gè)實(shí)時(shí)性響應(yīng)很高的項(xiàng)目就是致命的。
