寫在文前：每一個(gè)牛逼的架構(gòu)背后都有一群苦逼的工程師和一段苦悶的基礎(chǔ)工作！
清晰的分層，明確的數(shù)據(jù)流轉(zhuǎn)通道，大數(shù)據(jù)業(yè)界耳熟能祥的中間件產(chǎn)品，加上阿里巴巴每年雙11一騎絕塵的數(shù)據(jù)處理速度和諸多閃耀的商業(yè)智能，證明這絕逼是個(gè)牛逼的架構(gòu)無疑！
先翻到最后下里巴人的應(yīng)用，對內(nèi)數(shù)據(jù)平臺(tái)，“數(shù)據(jù)分析基本是所有員工的必備技能”，每個(gè)重視大數(shù)據(jù)的企業(yè)的員工的基本要求吧，做不到自覺面壁思過去！
然后就是阿里巴巴通用技術(shù)歷程，一段段苦逼的苦悶的基礎(chǔ)活 到 購買商業(yè)軟件 到自主研發(fā) 最后到閃耀全球，在不斷重構(gòu)和擁抱變化中成長，也不忘記基礎(chǔ)的痛點(diǎn)！
再回到本書的大數(shù)據(jù)三把板斧，數(shù)據(jù)技術(shù)、數(shù)據(jù)建模和數(shù)據(jù)管理。
首先是數(shù)據(jù)技術(shù)，我覺得是三類，ETL類（數(shù)據(jù)采集和數(shù)據(jù)同步），數(shù)據(jù)計(jì)算（離線和實(shí)時(shí)），數(shù)據(jù)服務(wù)（數(shù)據(jù)服務(wù)和數(shù)據(jù)挖掘），阿里巴巴的數(shù)據(jù)采集與同步基本都是基于數(shù)據(jù)庫日志的，我覺得是為了減少對原始數(shù)據(jù)的侵入式和各類數(shù)據(jù)庫專家建議的最靠譜方式，數(shù)據(jù)庫操作完備的日志是數(shù)據(jù)庫的最重要功能之一，根據(jù)日志能復(fù)制一遍數(shù)據(jù)庫以及數(shù)據(jù)庫數(shù)據(jù)管理和更新的記錄，對于原數(shù)據(jù)沒有有限管理設(shè)計(jì)的數(shù)據(jù)庫有奇效。
然后到中篇數(shù)據(jù)建模，提現(xiàn)出來的思想是技術(shù)的傳承性和謙卑善師，從Oracle到大數(shù)據(jù)倉庫是傳承，從基礎(chǔ)建模理論3NF到ER模型到緯度建模是傳承。然后又來了一個(gè)阿里巴巴通用技術(shù)歷程來講解阿里巴巴數(shù)據(jù)倉庫模型建設(shè)的三個(gè)階段：Oracle時(shí)代到GP時(shí)代到大數(shù)據(jù)倉庫時(shí)代。
在建模理論上重點(diǎn)推薦了兩本書，主要是Kimball建模，發(fā)覺我剛買了其中一本，如此幸運(yùn)！
模型層次是萬物通用的“萬有三層理論”（by Me），ODS ->CDM-> ADS。通用三層數(shù)據(jù)倉庫，不同細(xì)分和業(yè)務(wù)建模。
再來到建模方法論，Kimball理論。緯度表和事實(shí)表建模，通殺三句話，業(yè)務(wù)，業(yè)務(wù)，還是業(yè)務(wù)！索引回上一篇，工程師的最終價(jià)值在于業(yè)務(wù)理解和深度，業(yè)務(wù)是建模的基礎(chǔ)，不懂業(yè)務(wù)真的只能建個(gè)毛（皮毛）。
最后是數(shù)據(jù)管理，我們更傾向于叫做數(shù)據(jù)治理，包括質(zhì)量控制，元數(shù)據(jù)管理等，ETL有很大工作量，但是有沒有價(jià)值是靠價(jià)值數(shù)據(jù)體現(xiàn)的，做好基礎(chǔ)數(shù)據(jù)治理，才能更有限更便捷的挖掘數(shù)據(jù)價(jià)值。
通篇而論，架構(gòu)是三層理論，結(jié)構(gòu)是三章理論，發(fā)展步驟是三步理論，業(yè)務(wù)建模也是三步理論，“三分天下”，是為“形而上學(xué)”。
再從技術(shù)秉性來看，不斷的講解技術(shù)的進(jìn)階歷史，在擁抱業(yè)務(wù)變化中重構(gòu)技術(shù)框架，再從不斷吸收國外基礎(chǔ)理論和架構(gòu)設(shè)計(jì)思想，通體在體現(xiàn)互聯(lián)網(wǎng)技術(shù)的擁抱變化、持續(xù)迭代持續(xù)重構(gòu)、深度理解業(yè)務(wù)和謙卑快速學(xué)習(xí)精神！
好的架構(gòu)呈現(xiàn)的是解決問題的思想，體現(xiàn)的是背后工程師的辛苦付出和互聯(lián)網(wǎng)標(biāo)簽的性格特質(zhì)，再抽象一層是中華民族勤勞為本積極進(jìn)取的美德（社會(huì)主義核心價(jià)值觀學(xué)的精通，沒辦法）。
沒有繁瑣的基礎(chǔ)工作和一群謙卑熱愛學(xué)習(xí)不斷重構(gòu)折騰的工程師，就沒有真金火煉的架構(gòu)圖和千淬百煉的大數(shù)據(jù)系統(tǒng)，還有業(yè)務(wù)價(jià)值是內(nèi)功修煉。編者按！
