[TOC]

第六章 分布式數(shù)據(jù)倉(cāng)庫(kù)(相對(duì)集中式數(shù)據(jù)倉(cāng)庫(kù))

6.0 概述

• 大部分企業(yè)使用集中式數(shù)倉(cāng)，但某些特殊場(chǎng)景需要建立分布式數(shù)倉(cāng)
• 數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)者需清楚以下問(wèn)題

6.1 分布式數(shù)據(jù)倉(cāng)庫(kù)的類型（3種）

1. 局部數(shù)據(jù)倉(cāng)庫(kù)和全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)

   • 適用范圍

     1. 擁有許多不同業(yè)務(wù)（如阿里的淘寶與支付寶）
     2. 業(yè)務(wù)遍布世界各地（如KFC在世界各地餐飲）
     3. 分部擁有大量業(yè)務(wù)處理
     4. 大部分操作在分部進(jìn)行，少量或特定操作發(fā)布到總部進(jìn)行

   • 局部數(shù)據(jù)倉(cāng)庫(kù)

     1. 僅包含局部站點(diǎn)上的數(shù)據(jù)
     2. 有各自的技術(shù)、數(shù)據(jù)和處理器
     3. 局部數(shù)倉(cāng)間的數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)不需要協(xié)調(diào)一致(無(wú)論是數(shù)據(jù)、處理過(guò)程或定義都不需要)

   • 全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)

     1. 范圍涉及整個(gè)企業(yè)或組織
     2. 數(shù)據(jù)來(lái)源通常是局部數(shù)倉(cāng)
     3. 包括需要全局管理的信息（如財(cái)務(wù)、客戶、產(chǎn)品等）
     4. 自然重疊的數(shù)據(jù)最好放到全局?jǐn)?shù)倉(cāng)

   • 局部到全局

     1. 局部數(shù)倉(cāng)--簡(jiǎn)單轉(zhuǎn)換-->全局?jǐn)?shù)倉(cāng) （如單位、貨幣）
     2. 分布式倉(cāng)庫(kù)成功的關(guān)鍵--局部-->全局的映射

   • 數(shù)據(jù)冗余

     1. 大部分?jǐn)?shù)據(jù)都是經(jīng)過(guò)轉(zhuǎn)換和匯總的，這些不算冗余
     2. 少量不經(jīng)過(guò)變化算冗余，但少量不影響，多了就容易出現(xiàn)蜘蛛網(wǎng)

   • 數(shù)據(jù)查詢

     1. 原則上局部數(shù)據(jù)應(yīng)局部使用，全局?jǐn)?shù)據(jù)應(yīng)全局使用（因?yàn)榫植咳藛T無(wú)法進(jìn)行全局決策）

   • 局部數(shù)據(jù)至全局?jǐn)?shù)據(jù)間的映射必須由分部參與，總部無(wú)法集中建設(shè)

   • 分部的數(shù)據(jù)盡可能靈活，即低粒度，及關(guān)系模型（不能使星型模型？）

graph TB
A[全局倉(cāng)庫(kù)] -->|發(fā)送模型| B(局部倉(cāng)庫(kù)1)
A[全局倉(cāng)庫(kù)] -->|發(fā)送模型| C(局部倉(cāng)庫(kù)2)
A[全局倉(cāng)庫(kù)] -->|發(fā)送模型| D(局部倉(cāng)庫(kù)3)
B -->|轉(zhuǎn)換匯總返回| A
C -->|轉(zhuǎn)換匯總返回| A
D -->|轉(zhuǎn)換匯總返回| A

2. 技術(shù)上分布的數(shù)據(jù)倉(cāng)庫(kù)
   • 邏輯上還是一個(gè)數(shù)倉(cāng)，只是物理上分布在多個(gè)處理器上（現(xiàn)在有點(diǎn)規(guī)模的都這樣了）
   • 必然的結(jié)果（個(gè)人加的）
3. 獨(dú)立演進(jìn)的分布式數(shù)據(jù)倉(cāng)庫(kù)
   • 數(shù)倉(cāng)以一種不協(xié)調(diào)的方式建立，首先建立一個(gè)數(shù)倉(cāng)，然后又建立另一個(gè)
   • 如先建立財(cái)務(wù)的倉(cāng)庫(kù)，后來(lái)做市場(chǎng)的，但沒有統(tǒng)一進(jìn)行定義及設(shè)計(jì)

6.2 開發(fā)項(xiàng)目的本質(zhì)特征（多個(gè)數(shù)倉(cāng)開發(fā)）

1. 設(shè)計(jì)者需了解數(shù)倉(cāng)項(xiàng)目的類型及與體系結(jié)構(gòu)的關(guān)系，才能更好的管理及協(xié)調(diào)
2. 多個(gè)數(shù)倉(cāng)項(xiàng)目同時(shí)出現(xiàn)的4種情況
   • 業(yè)務(wù)完全分離，不需要集成
     1. 不常見
     2. 不同小組，負(fù)責(zé)不同業(yè)務(wù)的數(shù)倉(cāng)的建立
     3. 很少或不需要進(jìn)行協(xié)調(diào)和管理
     4. 財(cái)務(wù)數(shù)據(jù)總應(yīng)是集成的
   • 多個(gè)小組，負(fù)責(zé)同一數(shù)倉(cāng)的不同部分
     1. 較常見，特別關(guān)注
     2. 同一細(xì)節(jié)數(shù)據(jù)由不同小組開發(fā)，因分散在地理位置（分布式）
     3. 必須進(jìn)行有效協(xié)調(diào)和管理
   • 不同小組，負(fù)責(zé)倉(cāng)庫(kù)的不同級(jí)的數(shù)據(jù)
     1. 較常見
     2. 如一個(gè)小組處理最低級(jí)細(xì)節(jié)層，另一個(gè)處理匯總數(shù)據(jù)
     3. 最容易管理
   • 不同小組，負(fù)責(zé)同一粒度的數(shù)據(jù)
     1. 不常見，特別關(guān)注
     2. 同一細(xì)節(jié)數(shù)據(jù)由不同小組開發(fā)，但非分布式
     3. 必須進(jìn)行有效協(xié)調(diào)和管理

6.3 分布式數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)

6.4 在多種層次上構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)

6.5 多個(gè)小組建立當(dāng)前細(xì)節(jié)級(jí)

6.6 公共細(xì)節(jié)數(shù)據(jù)采用多種平臺(tái)

6.7 小結(jié)