譯者有話說(shuō)

這是一本非常適合數(shù)據(jù)架構(gòu)師或準(zhǔn)數(shù)據(jù)架構(gòu)師閱讀的書！當(dāng)前IT行業(yè)，越來(lái)越多的數(shù)據(jù)倉(cāng)庫(kù)基于云環(huán)境創(chuàng)建，越來(lái)越多的數(shù)據(jù)倉(cāng)庫(kù)要求實(shí)時(shí)性，越來(lái)越多的數(shù)倉(cāng)新技術(shù)涌現(xiàn)，數(shù)據(jù)架構(gòu)師面臨越來(lái)越多的挑戰(zhàn)。閱讀本書，通過(guò)見證一個(gè)數(shù)據(jù)平臺(tái)架構(gòu)的設(shè)計(jì)過(guò)程，學(xué)習(xí)一種應(yīng)對(duì)數(shù)倉(cāng)挑戰(zhàn)的思路。

章節(jié)說(shuō)明

1 數(shù)據(jù)平臺(tái)簡(jiǎn)介

2 為什么是數(shù)據(jù)平臺(tái)而不僅僅是數(shù)據(jù)倉(cāng)庫(kù)

3 利用三大巨頭:亞馬遜、微軟Azure和谷歌變強(qiáng)大

4 將數(shù)據(jù)導(dǎo)入平臺(tái)

5 數(shù)據(jù)組織和處理

6 實(shí)時(shí)數(shù)據(jù)處理分析

7 元數(shù)據(jù)層架構(gòu)

8 模式管理

9 數(shù)據(jù)訪問(wèn)和安全

10 利用數(shù)據(jù)平臺(tái)提升業(yè)務(wù)價(jià)值

前言

這本書是一次真正的協(xié)作，是兩個(gè)截然不同的人之間的團(tuán)隊(duì)合作，他們共享數(shù)據(jù)，熱愛新技術(shù)，并解決客戶問(wèn)題。我們（Danil和Lynda）在數(shù)據(jù)，分析和云IT服務(wù)公司合作了五年，在那里我們合作開發(fā)了云分析實(shí)踐。Danil憑借他多年的Hadoop經(jīng)驗(yàn)，帶來(lái)了技術(shù)上的突破，而Lynda帶來(lái)了業(yè)務(wù)前景。我們很早就意識(shí)到解決這兩個(gè)問(wèn)題是解決實(shí)際數(shù)據(jù)問(wèn)題所必需的，隨著時(shí)間的流逝，Danil變得更加面向業(yè)務(wù)，Lynda變得對(duì)云和數(shù)據(jù)足夠了解，甚至可以挑戰(zhàn)Danil。?從作為大數(shù)據(jù)平臺(tái)的Hadoop遷移到用于數(shù)據(jù)和分析的云原生平臺(tái)很容易，我們都喜歡云和大數(shù)據(jù)的承諾。在雇主的支持下，我們建立了一個(gè)內(nèi)部團(tuán)隊(duì)，不僅設(shè)計(jì)和交付了出色的技術(shù)解決方案，而且還設(shè)計(jì)和交付了使用數(shù)據(jù)和云實(shí)現(xiàn)實(shí)際業(yè)務(wù)成果的解決方案。我們?yōu)閿?shù)十個(gè)客戶提供了此服務(wù)，并且隨著時(shí)間的流逝，我們開發(fā)了一套最佳實(shí)踐和知識(shí)。正是這種經(jīng)驗(yàn)以及我們獨(dú)特的技術(shù)和業(yè)務(wù)技能組合，使我們相信，我們可以學(xué)習(xí)一個(gè)非常復(fù)雜的技術(shù)主題，并使它對(duì)于更廣泛的受眾而言是可以理解的。我們從博客文章和白皮書開始，當(dāng)Manning打電話問(wèn)Danil是否要寫另一本書（他的第一本是關(guān)于Hadoop的）時(shí)，一起做似乎是正確和自然的。?我們倆都是行業(yè)活動(dòng)的活躍演講者，因此我們利用這些機(jī)會(huì)來(lái)為本書構(gòu)想，并利用聽眾的反饋來(lái)完善它們。我們還同意，我們將編織真實(shí)的客戶故事，因?yàn)槲覀儌z都相信故事使所有學(xué)習(xí)變得容易。一旦我們意識(shí)到我們?cè)谌绾翁幚磉@本書上取得了一致，就別無(wú)所求，只能開始打字。花費(fèi)了將近兩年的時(shí)間，但是我們都對(duì)結(jié)果感到非常滿意，希望您也是如此。

關(guān)于這本書

設(shè)計(jì)云數(shù)據(jù)平臺(tái)旨在幫助您指導(dǎo)設(shè)計(jì)一個(gè)可伸縮且足夠靈活以應(yīng)對(duì)不可避免的技術(shù)變化的云數(shù)據(jù)平臺(tái)。首先，我們將解釋“云數(shù)據(jù)平臺(tái)”一詞的確切含義，重要性以及它與云數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別。然后，它轉(zhuǎn)向跟蹤數(shù)據(jù)流入和通過(guò)數(shù)據(jù)平臺(tái)的流程-從攝取和組織到處理和管理數(shù)據(jù)。它總結(jié)了不同的數(shù)據(jù)使用者如何使用平臺(tái)中的數(shù)據(jù)，并討論了可能影響云數(shù)據(jù)平臺(tái)項(xiàng)目成功的最常見業(yè)務(wù)問(wèn)題。

誰(shuí)應(yīng)該讀這本書

本書專為希望了解數(shù)據(jù)平臺(tái)以及如何設(shè)計(jì)架構(gòu)以利用云的人員而設(shè)計(jì)。它足夠詳細(xì)，可以使具有扎實(shí)的編程背景的人員能夠很好地構(gòu)建解決方案，并解決技術(shù)與業(yè)務(wù)之間的聯(lián)系，從而使產(chǎn)品經(jīng)理以及業(yè)務(wù)和數(shù)據(jù)分析師都可以理解這些概念和知識(shí)、背后的理由。它詳細(xì)介紹了諸如流處理與批處理，模式管理和其他關(guān)鍵設(shè)計(jì)元素之類的主題，但它是一本關(guān)于設(shè)計(jì)的書，而不是編程的書。

章節(jié)內(nèi)容簡(jiǎn)介

第1章介紹了云數(shù)據(jù)平臺(tái)的概念，描述了驅(qū)動(dòng)需求的趨勢(shì)，并介紹了云數(shù)據(jù)平臺(tái)設(shè)計(jì)的關(guān)鍵構(gòu)建塊。

第2章比較和對(duì)比了云數(shù)據(jù)平臺(tái)和云數(shù)據(jù)倉(cāng)庫(kù)之間的差異。

第3章對(duì)第1章中介紹的簡(jiǎn)單架構(gòu)進(jìn)行了擴(kuò)展，并將架構(gòu)中的層映射到AWS，Azure和Google Cloud中的每一個(gè)可用工具。

第4章討論如何將數(shù)據(jù)放入數(shù)據(jù)平臺(tái)-重點(diǎn)介紹通過(guò)API從關(guān)系數(shù)據(jù)庫(kù)，文件，流和SaaS系統(tǒng)獲得的數(shù)據(jù)。

第5章介紹了如何最好地組織和處理數(shù)據(jù)平臺(tái)中的數(shù)據(jù)，并介紹了可配置管道的概念和常見的數(shù)據(jù)處理步驟。

第6章專門介紹實(shí)時(shí)數(shù)據(jù)處理和分析，實(shí)時(shí)提取與實(shí)時(shí)處理之間的區(qū)別以及如何組織和轉(zhuǎn)換實(shí)時(shí)數(shù)據(jù)。

第7章介紹了技術(shù)元數(shù)據(jù)層的重要概念以及為什么需要它，以及技術(shù)元數(shù)據(jù)模型的選項(xiàng)，幾個(gè)實(shí)現(xiàn)選項(xiàng)以及現(xiàn)有的商業(yè)和開源解決方案的概述。

第8章介紹了與模式管理相關(guān)的長(zhǎng)期挑戰(zhàn)，提供了幾種可能的方法，并討論了如何在現(xiàn)代數(shù)據(jù)平臺(tái)中處理模式演變。

第9章討論了不同類型的數(shù)據(jù)使用者和數(shù)據(jù)訪問(wèn)點(diǎn)，包括數(shù)據(jù)倉(cāng)庫(kù)，應(yīng)用程序訪問(wèn)，機(jī)器學(xué)習(xí)用戶以及BI和報(bào)告工具。

第10章通過(guò)描述數(shù)據(jù)平臺(tái)用于推動(dòng)業(yè)務(wù)價(jià)值的方式來(lái)總結(jié)本書，并討論了與確保數(shù)據(jù)平臺(tái)項(xiàng)目成功相關(guān)的許多組織挑戰(zhàn)。