發(fā)簡信
IP屬地：北京
-
第十章 計算層優(yōu)化之數(shù)據(jù)傾斜在MapReduce執(zhí)行的過程中，會把任務(wù)的原始數(shù)據(jù)分片到多個Task中執(zhí)行。想象以下場景，當任務(wù)的多數(shù)Task都在短時間內(nèi)完成，只有個別Tas...
-
第十章 計算層優(yōu)化之系統(tǒng)優(yōu)化在大數(shù)據(jù)離線計算平臺上每天會有上萬個任務(wù)在執(zhí)行，對cpu、內(nèi)存、存儲資源由極大的消耗，那么如何降低資源使用率、提高計算效率，就涉及到計算優(yōu)化的問...
-
第九章 事實表設(shè)計總結(jié)及補充三種事實表比較 1）事務(wù)事實表：記錄事務(wù)層面事實，跟蹤業(yè)務(wù)過程行為 2）周期快照表：記錄指定周期內(nèi)一些聚集事務(wù)值或者度量狀態(tài) 3）累計快照表：通...
-
第九章 事實表設(shè)計之累計快照事實表累計快照事實表的主要用于研究事件之間時間間隔，當然并不僅限于此，還有一些特殊用途，可以在實際工作中靈活運用。 設(shè)計特點 1）數(shù)據(jù)不斷更新：不同于...
-
第九章 事實表設(shè)計之周期快照事實表想象以下場景，需要統(tǒng)計一個季度的商品成交量怎么取做？如果用一個季度內(nèi)的事實事務(wù)表進行計算，雖然可以得出結(jié)果但是效率太低，在實際生產(chǎn)中并不可行，因...
-
第九章 事實表設(shè)計之事務(wù)事實表事務(wù)事實表用于跟蹤定義業(yè)務(wù)過程的個體行為 設(shè)計案例 場景：為交易事務(wù)設(shè)計事實表 1）業(yè)務(wù)分析：交易事務(wù)包括下單、支付、發(fā)貨、完結(jié)四個業(yè)務(wù)過程 2...
-
第九章 事實表設(shè)計之事實表基礎(chǔ)事實表特性 1）事實表描述了業(yè)務(wù)過程，包含引用的維度和業(yè)務(wù)的度量，與維度表相比數(shù)據(jù)量大得多，增長速度快得多 2）描述業(yè)務(wù)過程的細節(jié)程度稱為粒度 ...
-
第八章 維度設(shè)計之特殊維度遞歸層次 1）維度的遞歸層級即在維度分層的一種表現(xiàn)形式，如下： ① 類目維度，細分為葉子類目、三級類目、二級類目、一級類目② 地址類目，細分為區(qū)...
-
第八章 維度設(shè)計之維度變化維度變化的描述 與事實表變化相比，維度表變化相對緩慢，如何描述維度表的變化，有以下三種方式： 1）重寫維度值：這種方式直接覆蓋原數(shù)據(jù) 2）插入新...