在MapReduce執(zhí)行的過程中，會把任務(wù)的原始數(shù)據(jù)分片到多個(gè)Task中執(zhí)行。想象以下場景，當(dāng)任務(wù)的多數(shù)Task都在短時(shí)間內(nèi)完成，只有個(gè)別Task執(zhí)行的時(shí)間特別長，從而拖慢了...
發(fā)簡信
IP屬地：北京
-
第十章 計(jì)算層優(yōu)化之?dāng)?shù)據(jù)傾斜 -
第九章 事實(shí)表設(shè)計(jì)總結(jié)及補(bǔ)充三種事實(shí)表比較 1）事務(wù)事實(shí)表：記錄事務(wù)層面事實(shí)，跟蹤業(yè)務(wù)過程行為 2）周期快照表：記錄指定周期內(nèi)一些聚集事務(wù)值或者度量狀態(tài) 3）累計(jì)快照表：通常由多個(gè)時(shí)間字段，用于研究業(yè)務(wù)...
-
第十章 計(jì)算層優(yōu)化之系統(tǒng)優(yōu)化在大數(shù)據(jù)離線計(jì)算平臺上每天會有上萬個(gè)任務(wù)在執(zhí)行，對cpu、內(nèi)存、存儲資源由極大的消耗，那么如何降低資源使用率、提高計(jì)算效率，就涉及到計(jì)算優(yōu)化的問題。從系統(tǒng)優(yōu)化方面來講： HB...
-
第九章 事實(shí)表設(shè)計(jì)之累計(jì)快照事實(shí)表累計(jì)快照事實(shí)表的主要用于研究事件之間時(shí)間間隔，當(dāng)然并不僅限于此，還有一些特殊用途，可以在實(shí)際工作中靈活運(yùn)用。 設(shè)計(jì)特點(diǎn) 1）數(shù)據(jù)不斷更新：不同于前面說的兩種事實(shí)表，累計(jì)快照事...
-
第二章 日志采集之瀏覽器日志采集瀏覽器頁面日志分類： 1）頁面瀏覽（展現(xiàn)）日志：瀏覽量 PV(page view)、訪客量 UV（unique view） 2）頁面交互日志采集：用來獲取用戶興趣或者優(yōu)化用戶...
-
第二章 日志采集之移動端日志采集移動端日志采集： 1）除了web頁面日志采集的相關(guān)內(nèi)容來提升用戶體驗(yàn)外，還需要采集各種設(shè)備信息，以及各種設(shè)備的運(yùn)行情況，協(xié)助開發(fā)者分析各類設(shè)備特有問題 2）移動端日志采集通過...
-
第二章 日志采集之日志采集的挑戰(zhàn)目前大型互聯(lián)網(wǎng)企業(yè)每天日志量以億為單位，面臨的挑戰(zhàn)已經(jīng)不是采集的技術(shù)本身，而是如何實(shí)現(xiàn)日志數(shù)據(jù)的結(jié)構(gòu)化。構(gòu)建規(guī)范制定--元數(shù)據(jù)注冊--日志采集--自動化計(jì)算--可視化展...