推薦購買《中臺戰(zhàn)略-中臺建設(shè)與數(shù)字商業(yè)》正版紙質(zhì)書籍閱讀

??數(shù)據(jù)中臺的作用是引領(lǐng)業(yè)務(wù)，構(gòu)建規(guī)范定義的、全域可連接萃取的、智慧的數(shù)據(jù)處理平臺，建設(shè)目標(biāo)是高效滿足前臺數(shù)據(jù)分析和應(yīng)用的需求。數(shù)據(jù)中臺涵蓋了數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理、數(shù)據(jù)模型、垂直數(shù)據(jù)中心、全域數(shù)據(jù)中心、萃取數(shù)據(jù)中心、數(shù)據(jù)服務(wù)等多個層次的體系化建設(shè)。

6.3.1 數(shù)據(jù)中臺功能定位

??數(shù)據(jù)中臺首先應(yīng)該是一個“業(yè)務(wù)礦產(chǎn)”，可以匯聚來自不同業(yè)務(wù)系統(tǒng)，不同數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)格式的平臺；其次，還需要把這些“業(yè)務(wù)礦產(chǎn)”進(jìn)行統(tǒng)一化，即統(tǒng)一采集、建模、管理與安全，通過加工與提純，形成企業(yè)的數(shù)據(jù)資產(chǎn)；最后，加工提純后的“業(yè)務(wù)礦產(chǎn)”需要對數(shù)據(jù)進(jìn)行服務(wù)化，即業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化，通過數(shù)據(jù)業(yè)務(wù)消費(fèi)數(shù)據(jù)，再產(chǎn)生新的礦產(chǎn)。
??數(shù)據(jù)中臺需要實(shí)現(xiàn)數(shù)據(jù)的分層與水平解耦，并具有沉淀公共數(shù)據(jù)的能力。數(shù)據(jù)中臺可分為3層——數(shù)據(jù)模型、數(shù)據(jù)服務(wù)與數(shù)據(jù)開發(fā)，通過數(shù)據(jù)建模實(shí)現(xiàn)跨域數(shù)據(jù)整合和知識沉淀，通過數(shù)據(jù)服務(wù)實(shí)現(xiàn)對數(shù)據(jù)的封裝和開放，快速、靈活地滿足上層應(yīng)用的要求，通過數(shù)據(jù)開發(fā)工具滿足個性化數(shù)據(jù)和應(yīng)用的需要。

??綜合而言，數(shù)據(jù)中臺應(yīng)該具備以下幾項(xiàng)能力：

• 數(shù)據(jù)整合能力：企業(yè)在平臺上從事各種商業(yè)、消費(fèi)等活動時，每時每刻都在產(chǎn)生海量的數(shù)據(jù)，數(shù)據(jù)采集作為數(shù)據(jù)中臺體系的第一環(huán)，尤為重要。因此，需要有一套標(biāo)準(zhǔn)的數(shù)據(jù)采集體系方案，致力于全面、高性能、規(guī)范地完成海量數(shù)據(jù)的采集，并將其傳輸?shù)酱髷?shù)據(jù)平臺。從數(shù)據(jù)來源來看，需要支持日志采集、文件采集、業(yè)務(wù)數(shù)據(jù)庫的增量、全量數(shù)據(jù)傳輸?shù)取?/li>
• 數(shù)據(jù)開發(fā)計(jì)算能力：數(shù)據(jù)只有被整合和計(jì)算，才能被用于洞察商業(yè)規(guī)律，挖掘潛在信息，從而實(shí)現(xiàn)大數(shù)據(jù)價值，達(dá)到賦能于商業(yè)和創(chuàng)造價值的目的。從采集層中獲取到的大量原始數(shù)據(jù)，將進(jìn)入數(shù)據(jù)計(jì)算與開發(fā)中被進(jìn)一步整合與計(jì)算。對數(shù)據(jù)計(jì)算來說，需要提供離線計(jì)算與實(shí)時計(jì)算的能力，提供支撐個性化推薦、智能配補(bǔ)貨、銷量預(yù)測、精準(zhǔn)營銷等數(shù)據(jù)應(yīng)用的算法模型能力，此外，還需要進(jìn)行數(shù)據(jù)整合及管理體系。
• 數(shù)據(jù)服務(wù)能力：將數(shù)據(jù)模型按照應(yīng)用要求進(jìn)行服務(wù)封裝，就構(gòu)成了數(shù)據(jù)服務(wù)，它跟業(yè)務(wù)中臺中的服務(wù)概念是完全相同的，只是數(shù)據(jù)封裝比一般的功能封裝要難一點(diǎn)，因?yàn)閿?shù)據(jù)分析受市場因素的影響很大，變化更快，從而導(dǎo)致服務(wù)封裝的難度變大。

6.3.2 數(shù)據(jù)中臺建設(shè)范圍

數(shù)據(jù)中臺6個子系統(tǒng)

??要建設(shè)企業(yè)的數(shù)據(jù)中臺需要6個方面的內(nèi)容。當(dāng)然，這6個子系統(tǒng)并不完全需要我們從零開始建設(shè)，有一些部件在市面上已經(jīng)有開源的產(chǎn)品或者商業(yè)軟件。這6個子系統(tǒng)包含大數(shù)據(jù)平臺、智能運(yùn)維平臺、智能研發(fā)平臺、自助分析平臺、智能標(biāo)簽平臺以及數(shù)據(jù)資產(chǎn)平臺，前面5部分內(nèi)容屬于工具平臺，都是為數(shù)據(jù)資產(chǎn)服務(wù)的。數(shù)據(jù)資產(chǎn)平臺是數(shù)據(jù)中臺的核心部件，它包含按照規(guī)范建設(shè)的數(shù)據(jù)分析模型、適用于各種數(shù)據(jù)賦能業(yè)務(wù)場景的數(shù)據(jù)算法模型以及企業(yè)通用的數(shù)據(jù)分析專題。

??數(shù)據(jù)中臺的6個子系統(tǒng)詳解如下所示：

• 搭建大數(shù)據(jù)平臺：俗語云：“工欲善其事，必先利其器”，建設(shè)數(shù)據(jù)中臺必須先選擇一款足夠強(qiáng)大的大數(shù)據(jù)計(jì)算平臺，用于處理各種格式的數(shù)據(jù)，同時用來存儲企業(yè)海量數(shù)據(jù)。這個平臺就像一部高速運(yùn)轉(zhuǎn)的機(jī)器，由各種零部件組成，如：數(shù)據(jù)采集組件、數(shù)據(jù)計(jì)算組件、數(shù)據(jù)存儲組件。
• 搭建智能運(yùn)維平臺：大數(shù)據(jù)計(jì)算平臺，采用分布式架構(gòu)，有服務(wù)各種場景的組件；同時，部署這些組件需要多臺機(jī)器的集群，少則幾臺，多則上千臺，必須要有一個配套的運(yùn)維管理平臺對服務(wù)組件與集群節(jié)點(diǎn)進(jìn)行管理。
• 搭建智能研發(fā)平臺：搭建研發(fā)管理平臺的目的是為了在進(jìn)行數(shù)據(jù)資產(chǎn)建設(shè)過程中快速進(jìn)行研發(fā)，并且降低研發(fā)難度，同時，可以更加有條理性地管理建設(shè)的數(shù)據(jù)資產(chǎn)，讓數(shù)據(jù)資產(chǎn)能規(guī)范化地對外輸出，賦能業(yè)務(wù)。
• 搭建智能標(biāo)簽平臺：標(biāo)簽平臺在數(shù)據(jù)中臺體系中占據(jù)著舉足輕重的位置，尤其是在新零售業(yè)務(wù)模式下精準(zhǔn)營銷、精準(zhǔn)觸達(dá)、個性化推薦這些應(yīng)用場景都需要基于用戶、商品的標(biāo)簽來實(shí)現(xiàn)。一個成熟的標(biāo)簽平臺則可以幫助運(yùn)營團(tuán)隊(duì)快速定義標(biāo)簽、可視化管理標(biāo)簽、快速搭建適合企業(yè)的標(biāo)簽體系，以及通過標(biāo)簽平臺對外提供標(biāo)簽服務(wù)。
• 搭建自助分析平臺：數(shù)據(jù)中臺提供的最基本能力就是支撐企業(yè)的決策分析以及智慧運(yùn)營，除了下文將要講到的標(biāo)準(zhǔn)分析專題，運(yùn)營部門還需要利用數(shù)據(jù)中臺提供的數(shù)據(jù)資產(chǎn)進(jìn)行探索分析。搭建一套靈活強(qiáng)大的自助分析平臺非常有必要。自助分析平臺的搭建可以選擇自建也可以選擇集成市面的一些商業(yè)套件。
• 建設(shè)企業(yè)數(shù)據(jù)資產(chǎn)：企業(yè)通過業(yè)務(wù)在線之后沉淀下來的數(shù)據(jù)并不能稱為數(shù)據(jù)資產(chǎn)，只有將數(shù)據(jù)通過數(shù)據(jù)中臺體系化建設(shè)，按照主題域進(jìn)行規(guī)范存儲、建設(shè)統(tǒng)一的數(shù)據(jù)模型，形成標(biāo)準(zhǔn)的專題為決策分析、賦能業(yè)務(wù)提供能力才可稱為數(shù)據(jù)資產(chǎn)。

6.3.3 搭建大數(shù)據(jù)平臺

??大數(shù)據(jù)平臺是建設(shè)數(shù)據(jù)中臺的基石，搭建大數(shù)據(jù)平臺主要是解決數(shù)據(jù)采集的組件選型、數(shù)據(jù)處理的計(jì)算引擎選型、各種類型的數(shù)據(jù)存儲組件選型，以及數(shù)據(jù)作業(yè)調(diào)度、權(quán)限、安全管理組件等問題，保障數(shù)據(jù)中臺中的數(shù)據(jù)資產(chǎn)可以在平臺中有序正常地運(yùn)轉(zhuǎn)。
??當(dāng)前在大數(shù)據(jù)平臺建設(shè)過程中選擇面很寬，不過仍以Hadoop生態(tài)圈的技術(shù)組件為主，比如數(shù)據(jù)存儲可根據(jù)數(shù)據(jù)類型與用途不同，可選擇HBase、Hive、Parquet等組件；數(shù)據(jù)計(jì)算引擎可根據(jù)需要選擇MapReduce、Spark、Flink等分布式計(jì)算引擎；而數(shù)據(jù)作業(yè)調(diào)度組件則可選擇Azkaban、Oozie、Airflow等各組件；數(shù)據(jù)權(quán)限、安全等也是搭建大數(shù)據(jù)平臺必不可少的環(huán)節(jié)，開源社區(qū)同樣提供了Ranger、Kerberos等權(quán)限管控組件。

6.3.4　搭建運(yùn)維管理平臺

??運(yùn)維管理平臺提供了界面化操作集群的能力。它幫助開發(fā)、運(yùn)維人員簡單快速地搭建和管理集群，同時也對集群健康狀態(tài)進(jìn)行監(jiān)控，并在異常出現(xiàn)時及時作出告警。
??當(dāng)前云平臺服務(wù)商及一些第三方Hadoop發(fā)行版都提供了運(yùn)維管理平臺。如：阿里云的EMR、Hortonworks的HDP、Cloudra的CDH。

6.3.5　搭建研發(fā)管理平臺

??數(shù)據(jù)研發(fā)管理平臺作為平臺工具，從整個數(shù)據(jù)開發(fā)流程上輔助開發(fā)人員進(jìn)行數(shù)據(jù)中臺的建設(shè)。其應(yīng)包含以下能力：數(shù)據(jù)集成、數(shù)據(jù)模型、數(shù)據(jù)開發(fā)/算法開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)服務(wù)、數(shù)據(jù)資產(chǎn)、任務(wù)運(yùn)維等。
??數(shù)據(jù)集成作為數(shù)據(jù)中臺數(shù)據(jù)采集層，在數(shù)據(jù)時效性上提供（準(zhǔn)）實(shí)時、離線采集能力。在數(shù)據(jù)源格式上應(yīng)支持結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的采集能力。其中，應(yīng)支持主流關(guān)系型數(shù)據(jù)庫CDC日志、SDK上報(bào)數(shù)據(jù)、文件流數(shù)據(jù)的（準(zhǔn)）實(shí)時數(shù)據(jù)采集；支持（非）關(guān)系型數(shù)據(jù)庫、文件等數(shù)據(jù)的離線全量、增量數(shù)據(jù)的采集。
??數(shù)據(jù)模型功能，應(yīng)支持可視化數(shù)據(jù)模型設(shè)計(jì)工作，并提供統(tǒng)一管理企業(yè)指標(biāo)口徑、數(shù)據(jù)模型的能力。方便模型設(shè)計(jì)人員利用維度建模理論構(gòu)建統(tǒng)一的標(biāo)準(zhǔn)化的數(shù)據(jù)模型體系。
??數(shù)據(jù)（算法）開發(fā)功能包含實(shí)時、離線、算法這3部分的功能開發(fā)。
??數(shù)據(jù)質(zhì)量管理在數(shù)據(jù)中臺建設(shè)中是至關(guān)重要的一個環(huán)節(jié)。它應(yīng)提供豐富的預(yù)警規(guī)則，并支持對每個數(shù)據(jù)模型進(jìn)行告警規(guī)則制定，在數(shù)據(jù)異常時及時告知相關(guān)負(fù)責(zé)人員。
??數(shù)據(jù)服務(wù)作為數(shù)據(jù)中臺和業(yè)務(wù)的流轉(zhuǎn)橋梁，其對外提供的服務(wù)都必須通過統(tǒng)一的數(shù)據(jù)服務(wù)平臺。為了加速數(shù)據(jù)業(yè)務(wù)化的過程，需要對匯總后的應(yīng)用層數(shù)據(jù)模型進(jìn)行開放，通過對數(shù)據(jù)的權(quán)限控制、查詢路由解析、限流降級等措施提供生成統(tǒng)一數(shù)據(jù)API的能力。
??數(shù)據(jù)資產(chǎn)在研發(fā)管理平臺中，主要是對數(shù)據(jù)模型和指標(biāo)等元數(shù)據(jù)資產(chǎn)從各個維度進(jìn)行展示，從而很方便地了解到數(shù)據(jù)中臺的建設(shè)情況。
??任務(wù)運(yùn)維需提供任務(wù)工作流DAG（有向無環(huán)圖）可視化操作，支持任務(wù)多種調(diào)度周期設(shè)置及運(yùn)行任務(wù)的監(jiān)控告警能力。

6.3.6 搭建智能標(biāo)簽平臺

??智能標(biāo)簽平臺幫助企業(yè)構(gòu)建標(biāo)簽體系，生成用戶、商品等畫像，賦能業(yè)務(wù)對用戶、商品等的精細(xì)化運(yùn)營。標(biāo)簽平臺解決了企業(yè)以往通過手工寫腳本的不靈活、難運(yùn)維的問題，還能夠支持對用戶行為過程數(shù)據(jù)設(shè)置標(biāo)簽，豐富用戶消費(fèi)過程行為畫像數(shù)據(jù)。
??標(biāo)簽平臺充分整合企業(yè)多觸點(diǎn)、全渠道數(shù)據(jù)，支持智能推薦和精準(zhǔn)營銷等上層數(shù)據(jù)應(yīng)用。它具備如下的功能特點(diǎn)：

• 自定義標(biāo)簽：支持運(yùn)營人員創(chuàng)建客觀標(biāo)簽、組合標(biāo)簽。運(yùn)營人員根據(jù)數(shù)據(jù)運(yùn)營分析的結(jié)果可創(chuàng)建會員價值分類的標(biāo)簽，銷售導(dǎo)購可創(chuàng)建消費(fèi)者來訪次數(shù)、消費(fèi)能力等標(biāo)簽。所有運(yùn)營人員全渠道觸達(dá)用戶，豐富用戶標(biāo)簽數(shù)據(jù)。
• 標(biāo)簽體系：支持多級標(biāo)簽定義，能夠查看組合標(biāo)簽體系層級及群體人員明細(xì)。
• 客戶畫像：標(biāo)簽使用客戶群體畫像生成，支持用戶分群選擇，也能夠?qū)€人畫像的屬性進(jìn)行查看。
• 標(biāo)簽使用分析：系統(tǒng)平臺定義的標(biāo)簽使用情況統(tǒng)計(jì)分析，查看熱門標(biāo)簽以及未被使用的標(biāo)簽，優(yōu)化標(biāo)簽結(jié)構(gòu)。
• 平臺開放性：平臺定義的標(biāo)簽信息能夠作為企業(yè)數(shù)據(jù)資產(chǎn)，提供API接口，第三方系統(tǒng)可以調(diào)用標(biāo)簽中心的接口進(jìn)行標(biāo)簽的管理和應(yīng)用創(chuàng)新。

6.3.7　搭建自助分析平臺

??自助分析平臺構(gòu)建在大數(shù)據(jù)平臺之上，依托于數(shù)據(jù)平臺的數(shù)據(jù)研發(fā)治理能力，通過統(tǒng)一的數(shù)據(jù)服務(wù)，實(shí)現(xiàn)對數(shù)據(jù)分析探索的統(tǒng)一口徑和標(biāo)準(zhǔn)管理，為企業(yè)業(yè)務(wù)分析提供準(zhǔn)確、高效的數(shù)據(jù)決策支持。自助分析平臺作為可以面向前端的產(chǎn)品，既需要體現(xiàn)數(shù)據(jù)應(yīng)用的便捷性以及平臺的大數(shù)據(jù)處理高性能，又需要擁有行業(yè)運(yùn)營分析模型的沉淀，才能和業(yè)務(wù)更加緊密地結(jié)合在一起。同時，對于自助分析平臺來說，還需具備可靈活擴(kuò)展性、穩(wěn)定性、高可用性等能力。

??自助分析平臺，定位敏捷靈活、快速開發(fā)的工具，具備如下功能優(yōu)勢：

• 多數(shù)據(jù)源支持：多種數(shù)據(jù)源、不同數(shù)據(jù)類型數(shù)據(jù)對接支持，輕松解決數(shù)據(jù)接入對接的多接口開發(fā)工作。支持傳統(tǒng)關(guān)系型數(shù)據(jù)庫（Oracle、SQL、MySQL等）、Hadoop開源架構(gòu)體系（Hive、Spark、PG等）以及阿里云系列數(shù)據(jù)庫（RDS、ADB等）。
• 多維分析：具備前端系統(tǒng)的交互和分析能力——過濾（Filter）、鉆?。―rill）、刷?。˙rush）、縮放、關(guān)聯(lián)（Associate）、動態(tài)計(jì)算（Dynamic Calculation）、超鏈接（Link）等。能夠支持探索式的分析，追溯業(yè)務(wù)問題的原因，例如：當(dāng)銷售額同環(huán)比對比下降，業(yè)務(wù)分析人員能夠根據(jù)業(yè)務(wù)維度下鉆到區(qū)域—渠道—門店進(jìn)行銷售額的明細(xì)對比分析，也能夠上鉆返回到不同維度（品牌、產(chǎn)品）進(jìn)行綜合因素對比。
• 多圖表組件支持：平臺支持?jǐn)?shù)據(jù)分析人員常用的圖標(biāo)組件類型（餅狀圖、柱狀圖、環(huán)狀圖、二維表、交叉表、復(fù)雜式表格等），用戶只需要綁定、清洗準(zhǔn)備好的數(shù)據(jù)集就能夠快速生成可視化報(bào)告。對于特殊的圖表組件類型支持集成開源組件進(jìn)行展示，滿足用戶的多樣化需求。
• 多用戶權(quán)限：平臺認(rèn)證授權(quán)管理模塊作為系統(tǒng)數(shù)據(jù)查看安全訪問控制的重要功能，能夠支持對企業(yè)員工進(jìn)行用戶、角色、崗位的定義，全面覆蓋人員的一崗多職問題。權(quán)限管理能夠?qū)ο到y(tǒng)功能模塊、數(shù)據(jù)源、用戶操作、數(shù)據(jù)報(bào)告等進(jìn)行全部功能讀、寫的設(shè)置，實(shí)現(xiàn)不同用戶不同功能的使用需求。
• 多并發(fā)支持：高性能、高可用性體現(xiàn)，面向業(yè)務(wù)終端數(shù)據(jù)查看分析需求，彈性擴(kuò)展支持。
• 多屏支持：不同業(yè)務(wù)場景支持，對大屏、移動App、PC報(bào)表的分析需求都能全方位覆蓋，同時也能支持小程序等應(yīng)用查看的需求。
  ??基于以上功能，自助分析平臺能夠快速有效地幫助企業(yè)數(shù)據(jù)分析師完成業(yè)務(wù)數(shù)據(jù)需求。

6.3.8 建設(shè)企業(yè)數(shù)據(jù)資產(chǎn)

??大數(shù)據(jù)平臺提供數(shù)據(jù)資產(chǎn)的計(jì)算引擎、存儲方式以及數(shù)據(jù)安全權(quán)限管理機(jī)制，運(yùn)維管理平臺為大數(shù)據(jù)平臺正常的運(yùn)轉(zhuǎn)提供保障；研發(fā)管理平臺提供兩部分內(nèi)容：
??1）提供快捷方便的數(shù)據(jù)處理工具，涵蓋數(shù)據(jù)進(jìn)入數(shù)據(jù)中臺的整個生命周期，包含了數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)聚合匯總、數(shù)據(jù)對外服務(wù)，均可以使用可視化配置或者簡單的SQL腳本；
??2）提供數(shù)據(jù)資產(chǎn)的管理工具，涵蓋數(shù)據(jù)指標(biāo)體系管理、數(shù)據(jù)模型管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)血緣管理管理等組件。智能標(biāo)簽平臺則是為生成實(shí)體標(biāo)簽服務(wù)的工具平臺；自助分析平臺則與數(shù)據(jù)分析模型對接，讓數(shù)據(jù)分析模型快捷地通過友好的界面展示供業(yè)務(wù)部門使用。

??數(shù)據(jù)中臺中的數(shù)據(jù)資產(chǎn)按照功能可分為兩部分內(nèi)容：數(shù)據(jù)模型和標(biāo)準(zhǔn)分析專題。數(shù)據(jù)模型又包含了分析模型和應(yīng)用算法模型，下面就分別講解如何建設(shè)數(shù)據(jù)中臺的數(shù)據(jù)資產(chǎn)：
??1、數(shù)據(jù)模型
??數(shù)據(jù)模型是整個系統(tǒng)建設(shè)過程的導(dǎo)航圖。
??數(shù)據(jù)模型有利于數(shù)據(jù)的整合。
??通過建立數(shù)據(jù)模型，可以排除數(shù)據(jù)描述的不一致性，如同名異義、同物異名等，使系統(tǒng)的各參與方能夠基于相同的事實(shí)進(jìn)行有效溝通。
??由于數(shù)據(jù)模型對現(xiàn)有的信息以及信息之間的關(guān)系從邏輯層進(jìn)行了全面描述，當(dāng)未來業(yè)務(wù)發(fā)生變化或系統(tǒng)需求發(fā)生變化時，可以很容易地實(shí)現(xiàn)系統(tǒng)的擴(kuò)展。
??數(shù)據(jù)模型可以消除數(shù)據(jù)庫中的冗余數(shù)據(jù)。
??數(shù)據(jù)模型具體分為分析模型與應(yīng)用算法模型兩大類。分析模型是數(shù)據(jù)中臺的重要數(shù)據(jù)資產(chǎn)。
??1）分析模型
??企業(yè)在搭建數(shù)據(jù)中臺時應(yīng)如何建設(shè)分析模型呢？建議從企業(yè)整體業(yè)務(wù)出發(fā)，梳理全量業(yè)務(wù)進(jìn)行分層建模，將數(shù)據(jù)按照功能性、量級分為四層：ODS層（操作性數(shù)據(jù)）、DWD層（明細(xì)寬表級數(shù)據(jù)）、DWS層（公共匯總數(shù)據(jù)）、ADS層（專業(yè)應(yīng)用匯總數(shù)據(jù)）。一般來講，DWD和DWS兩層又合稱為中間層，是整個分析模型的核心和靈魂。

分層建模整體邏輯

??①ODS層（Operational Data Store，操作數(shù)據(jù)層）
??ODS是“面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的”數(shù)據(jù)，是分析模型中的一個可選部分。ODS具備數(shù)據(jù)分析的部分特征和OLTP系統(tǒng)的部分特征。
??②DWD層（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）
??數(shù)據(jù)聚合：將來自不同系統(tǒng)的同類數(shù)據(jù)源按照某種維度進(jìn)行聚合，形成統(tǒng)一的聚合數(shù)據(jù)。
??豐富維度：將事實(shí)表與維度表進(jìn)行充分關(guān)聯(lián)聚合后，豐富事實(shí)表的維度，避免數(shù)據(jù)在后續(xù)計(jì)算時需要關(guān)聯(lián)大量的維度表，將雪花模型轉(zhuǎn)換為星型模型。例如，訂單表中存在商品編碼，通過商品編碼與商品維表的關(guān)聯(lián)，將商品類別、商品規(guī)格、商品單價等屬性值寫入事實(shí)表。雪花模型是指當(dāng)有一個或多個維表沒有直接連接到事實(shí)表上，而是通過其他維表連接到事實(shí)表上時，其圖解就像多個雪花連接在一起，故稱雪花模型。星形模式是一種多維的數(shù)據(jù)關(guān)系，它由一個事實(shí)表（Fact Table）和一組維表（Dimension Table）組成。
??③DWS層（Data Warehouse Summary，匯總數(shù)據(jù)層）
維度退化：加強(qiáng)指標(biāo)的維度退化，提煉出粗粒度的常用維度、常用指標(biāo)的匯總模型；數(shù)據(jù)匯總程度高于DWD層，單表數(shù)據(jù)量明顯減少，通常采用星型建模。
形成主題寬表：根據(jù)客戶、商品、經(jīng)銷商、店鋪等實(shí)體在某一段時間內(nèi)的事件軌跡，串聯(lián)起整體業(yè)務(wù)，形成全方位的公共基礎(chǔ)寬表，通常采用實(shí)體建模。例如客戶實(shí)體，可以通過客戶基本屬性、客戶購物經(jīng)歷、購物偏好、金融風(fēng)險(xiǎn)評級等維度360°全方位形成客戶寬表。
??以上兩種手段旨在提升公共指標(biāo)的復(fù)用性，減少重復(fù)的加工工作。
??④ADS層（Application Data Store，應(yīng)用數(shù)據(jù)層）
??個性化指標(biāo)加工：無公用性、復(fù)雜性（指數(shù)型、比值型、排名型指標(biāo)），通過DWS層的公共基礎(chǔ)指標(biāo)衍生出應(yīng)用型的衍生指標(biāo)。
??基于應(yīng)用的數(shù)據(jù)組裝：大寬表集市、橫表轉(zhuǎn)縱表、趨勢指標(biāo)串等應(yīng)用型數(shù)據(jù)。

??2）應(yīng)用算法模型
??應(yīng)用算法模型是數(shù)據(jù)中臺中的高價值資產(chǎn)，真正體現(xiàn)數(shù)據(jù)中臺與傳統(tǒng)數(shù)據(jù)倉庫差異的根本點(diǎn)，有了能貼近應(yīng)用場景的高度抽象的算法模型才能實(shí)現(xiàn)數(shù)據(jù)中臺的價值。
??一般來說，企業(yè)圍繞營銷閉環(huán)存在較多的算法模型需求，且解決這些場景的算法模型也比較豐富多樣，下面介紹幾個最常用的算法模型：

??①交叉銷售模型

??考慮到企業(yè)的生命周期和客戶的利潤貢獻(xiàn)，一般會有兩個運(yùn)營選擇方向：一是延緩客戶流失，讓客戶盡可能長久地留存，常用的方法是利用客戶流失預(yù)警模型提前鎖定可能流失的有價值的用戶，然后由客戶服務(wù)團(tuán)隊(duì)采用各種客戶關(guān)懷措施，盡可能挽留客戶，從而降低客戶流失率；二是讓客戶消費(fèi)更多的商品和服務(wù)，從而更大地提升客戶的商業(yè)價值，挖掘客戶利潤，一般是通過數(shù)據(jù)算法模型找出客戶進(jìn)一步的消費(fèi)需求（潛在需求），從而更好及更主動地引導(dǎo)、滿足、迎合客戶需求，既可提高企業(yè)的GMV，又為客戶提供更友好的購物體驗(yàn)。
??交叉銷售模型是指通過對用戶歷史消費(fèi)數(shù)據(jù)的分析挖掘，找出有明顯關(guān)聯(lián)性質(zhì)的商品組合，然后用不同的建模方法，去構(gòu)建消費(fèi)者購買這些關(guān)聯(lián)商品組合的可能模型，再用其中優(yōu)秀的模型去預(yù)測新客戶購買特定商品組合的可能性。

??實(shí)現(xiàn)交叉營銷模型的算法有很多，其具體實(shí)現(xiàn)原理不是本書講解的重點(diǎn)，這里不再敘述。這里主要講解常用的幾類算法：
??一是按照關(guān)聯(lián)規(guī)則算法，也即通常所說的購物籃分析，發(fā)現(xiàn)那些有較大可能被一起采購的商品，對它們進(jìn)行有針對性的促銷和捆綁，這就是交叉銷售；
??二是借鑒響應(yīng)模型的思路，為某幾種重要商品分別建立預(yù)測模型，對潛在消費(fèi)者通過這些特定預(yù)測模型進(jìn)行過濾，然后針對最有可能的前*%的消費(fèi)者進(jìn)行精確的營銷觸達(dá)；
??三是仍然借鑒預(yù)測響應(yīng)模型的思路，讓重要商品兩兩組合，找出那些最有可能消費(fèi)的潛在客戶；
??四是通過決策樹清晰的樹狀規(guī)則，發(fā)現(xiàn)基于具體數(shù)據(jù)資源的具體規(guī)則逐層判斷客戶會對哪幾種潛在的商品感興趣。
??相應(yīng)的建模技術(shù)主要包括關(guān)聯(lián)分析（Association Analysis）、序列分析（Sequence Analysis）以及邏輯回歸、決策樹等算法。

??②信用風(fēng)險(xiǎn)模型

??信用風(fēng)險(xiǎn)包括欺詐預(yù)警、交易風(fēng)控、反刷單等在交易場景下的風(fēng)險(xiǎn)預(yù)警，風(fēng)險(xiǎn)預(yù)警在企業(yè)特別是金融行業(yè)有著舉足輕重的作用?；ヂ?lián)網(wǎng)公司獲客最常用的方式是補(bǔ)貼，但補(bǔ)貼最怕“羊毛黨”。

??③商品推薦模型

??推薦模型是互聯(lián)網(wǎng)模式下使用的最廣泛的算法模型，淘寶首頁上的千人一面、千人十面到千人千面這樣的個性化展示均是依賴于商品推薦模型。強(qiáng)大的商品推薦模型可以洞悉客戶最關(guān)注的商品，最有可能購買的商品。據(jù)阿里巴巴內(nèi)部統(tǒng)計(jì)，自淘寶網(wǎng)實(shí)現(xiàn)“千人千面”功能以來，從首頁帶來的流量遠(yuǎn)高于從搜索頁面過來的流量。
??電商推薦系統(tǒng)主要通過統(tǒng)計(jì)和機(jī)器學(xué)習(xí)技術(shù)，并根據(jù)用戶在各端的行為，主動為用戶提供推薦服務(wù)，從而提高網(wǎng)站體驗(yàn)。
??目前，常用的商品推薦模型主要分為規(guī)則模型、協(xié)同過濾和基于內(nèi)容的推薦模型。不同的推薦模型有不同的推薦算法，譬如規(guī)則模型，常用的算法有Apriori，而協(xié)同過濾中則涉及kmeans最近鄰居算法、因子模型等。

??④智能補(bǔ)貨模型

??智能配補(bǔ)貨模型實(shí)現(xiàn)的難點(diǎn)是如何精準(zhǔn)預(yù)測某一段時間區(qū)域、門店甚至某一款商品SKU的銷量，而銷量預(yù)測的難度又在于除了歷史的銷量、促銷活動、行業(yè)動態(tài)之外還有很多主觀影響因素，如天氣變化、國家政策等不可抗力因素。

基于銷量預(yù)測的智能補(bǔ)貨算法模型實(shí)現(xiàn)邏輯

2、分析專題

??以“人、貨、場”為脈絡(luò)的分析可分別從這三個維度沉淀標(biāo)準(zhǔn)的分析專題，其人貨場演進(jìn)發(fā)展大致如下：

• 人：流量、用戶；
• 貨：商品（除現(xiàn)貨外還包括期貨、定制商品、虛擬商品等）；
• 場：一切能將人與貨匹配，最終實(shí)現(xiàn)訂單轉(zhuǎn)化的載體或場景，如各類客戶端或頁面，及其中的搜索、推薦、推送、分類導(dǎo)航、活動專區(qū)等。

根據(jù)終極目標(biāo)GMV分解形成專題模塊

??電商的最終目標(biāo)是盡可能獲得銷售額，根據(jù)GMV=用戶×轉(zhuǎn)化率×客單價，進(jìn)一步分解成核心工作模塊為新用戶促留存、老用戶促復(fù)購、提高瀏覽-購買轉(zhuǎn)化率、提高商品動銷、提高支付用戶及訂單量。這些核心工作模塊結(jié)合“人貨場”便可以歸納出基本的電商業(yè)務(wù)分析模型，包括用戶留存分析、海盜模型分析、轉(zhuǎn)化漏斗分析、商品分析、交易分析等：

??1）用戶留存分析
??用戶留存分析主要包括研究的用戶、統(tǒng)計(jì)周期的留存率，主要包含指標(biāo)如下：

用戶留存分析指標(biāo)

??維度按新訪問用戶、新支付用戶、注冊來源渠道劃分，常用分析周期為7天留存、14天留存以及30天留存。

7天用戶留存示例

??通過留存率衰減圖，使用者可以快速直觀地了解目前產(chǎn)品的新用戶留存率水平、留存提升空間，以及用戶流失的集中時間段，從而進(jìn)一步制定留存促提的運(yùn)營計(jì)劃。

??2）海盜模型分析
??海盜模型分析又名AARRR模型分析，即Acquisition、Activation、Retention、Revenue、Referral的首字母縮寫，分別對應(yīng)電商業(yè)務(wù)的獲取用戶（下載注冊）、用戶活躍、留存、變現(xiàn)、自傳播（分享）等5個產(chǎn)品生命周期階段如下圖：

AARRR模型

AARRR模型的核心指標(biāo)

??如下圖所示，利用海盜模型，漏斗分析業(yè)務(wù)某一階段的產(chǎn)品生命周期，結(jié)果顯示注冊——活躍的轉(zhuǎn)化率非常低，說明產(chǎn)品還比較新，用戶對內(nèi)容或者產(chǎn)品業(yè)務(wù)感興趣程度很一般，所以此時的運(yùn)營重點(diǎn)應(yīng)放在新用戶教育或鼓勵中，配合優(yōu)惠策略，促使注冊用戶活躍。

基于AARRR模型的業(yè)務(wù)分解結(jié)果

??3）轉(zhuǎn)化漏斗分析
??可以通過分析電商用戶行為，提煉關(guān)鍵節(jié)點(diǎn)數(shù)據(jù)如訪問、加購、下單、支付等，形成轉(zhuǎn)化漏斗分析。

轉(zhuǎn)化漏斗核心指標(biāo)

??如下圖所示為某商品A的瀏覽-支付轉(zhuǎn)化漏斗圖，下單-支付轉(zhuǎn)化率較低，僅有58.62%，對比其他商品顯然這環(huán)節(jié)有著十分大的提升空間，并且若成功轉(zhuǎn)化成支付則可直接提高銷售額。針對這個案例，運(yùn)營部門可通過外呼等強(qiáng)提醒措施，促使已下單的用戶支付。

商品A的瀏覽-支付轉(zhuǎn)化漏斗

??4）商品分析
??主要維度按品類或單個商品展開，具體指標(biāo)包括如下所示：

商品分析的具體指標(biāo)

??通過排行榜單，運(yùn)營部門對本方平臺的熱款、爆款了然于胸，在做商品活動策劃時對商品挑選會更為敏銳及高效。

??5）交易分析
??交易分析最能呈現(xiàn)出一個電商平臺的市場競爭力，直觀展示平臺的營收能力、交易活躍度。

商品和類目銷售排行

交易分析的核心指標(biāo)如下表所示：

??交易分析相比其他專題更講求時效性，比如在大型活動進(jìn)行期間，交易數(shù)據(jù)分析顆粒度需細(xì)化到各個時段，如下圖所示，可十分清晰地了解到用戶在不同時段上的下單分布情況，這對運(yùn)營活動一天的節(jié)奏把握，以及優(yōu)惠觸達(dá)時間選擇都會有不錯的指導(dǎo)意義。

交易趨勢分析