用戶行為數(shù)據(jù)采集──埋點(diǎn)，是用戶行為分析中非常重要的環(huán)節(jié)，直接決定數(shù)據(jù)廣度、深度、質(zhì)量，影響后續(xù)所有的環(huán)節(jié)。就埋點(diǎn)本身來說，技術(shù)實(shí)現(xiàn)的難度并不高，但是整個(gè)埋點(diǎn)的過程可以說十分的復(fù)雜繁瑣，有非常多細(xì)節(jié)和流程需要考慮，不同類型客戶端如何采集，數(shù)據(jù)如何統(tǒng)一，哪些信息需要在客戶端采集，哪些信息需要在后端采集，如何減少數(shù)據(jù)上報(bào)的延時(shí)和漏報(bào)，如何對(duì)成千上萬個(gè)埋點(diǎn)進(jìn)行統(tǒng)一的管理？
這一系列文章基于用戶行為分析數(shù)據(jù)平臺(tái)一年的工作經(jīng)驗(yàn)，會(huì)對(duì)埋點(diǎn)的全過程進(jìn)行思考和討論，涉及對(duì)埋點(diǎn)基礎(chǔ)知識(shí)的介紹，討論如何從 0 到 1 開始用戶行為數(shù)據(jù)采集工作，分享負(fù)責(zé)項(xiàng)目的埋點(diǎn)方案，介紹埋點(diǎn)管理系統(tǒng)，梳理整個(gè)埋點(diǎn)協(xié)作流程等方面。
系列文章的第二篇，討論用戶行為數(shù)據(jù)采集工作的第一步──建立采集規(guī)范。上篇文章介紹了目前常見的三種埋點(diǎn)方式：代碼埋點(diǎn)、全埋點(diǎn)、可視化埋點(diǎn)，點(diǎn)擊查看。

用戶行為分析從 0 到 1

要進(jìn)行用戶行為分析，需要考慮四個(gè)方面：「數(shù)據(jù)采集規(guī)范」、「數(shù)據(jù)采集」、「數(shù)據(jù)處理和計(jì)算」、「用戶行為分析平臺(tái)」。

• 數(shù)據(jù)采集規(guī)范：規(guī)定采集的數(shù)據(jù)字段、格式、采集時(shí)機(jī)、上報(bào)策略等，通常由埋點(diǎn)團(tuán)隊(duì)和數(shù)據(jù)團(tuán)隊(duì)一起負(fù)責(zé)給出。項(xiàng)目初期或小團(tuán)隊(duì)一般以共享文檔的方式約束，成熟的團(tuán)隊(duì)以系統(tǒng)的形式做線上化、自動(dòng)化的管理。
• 數(shù)據(jù)采集：實(shí)施具體的采集動(dòng)作，通常研發(fā)團(tuán)隊(duì)會(huì)開發(fā)埋點(diǎn) SDK 工具，提供給有埋點(diǎn)需求方的業(yè)務(wù)方調(diào)用。
• 數(shù)據(jù)處理和計(jì)算：基于業(yè)務(wù)分析需求，對(duì)采集上來的數(shù)據(jù)進(jìn)行ETL、加工計(jì)算，由數(shù)據(jù)團(tuán)隊(duì)負(fù)責(zé)。
• 用戶行為分析平臺(tái)：通常由數(shù)據(jù)團(tuán)隊(duì)開發(fā)，提供給業(yè)務(wù)方查詢用戶行為數(shù)據(jù)。
  用戶行為數(shù)據(jù)采集主要關(guān)注前兩個(gè)方面：「數(shù)據(jù)采集規(guī)范」（以下簡(jiǎn)稱規(guī)范），「數(shù)據(jù)采集」（以下簡(jiǎn)稱采集）。這兩個(gè)方面，前者決定了數(shù)據(jù)應(yīng)該按怎樣的標(biāo)準(zhǔn)采集，后者實(shí)施具體的采集工作。規(guī)范一方面會(huì)規(guī)定要采集哪些字段，以什么樣的格式，什么時(shí)候采集，采集后數(shù)據(jù)上報(bào)到哪里；另一方面會(huì)規(guī)定埋點(diǎn)需求處理協(xié)作流程的規(guī)范。相應(yīng)的支持平臺(tái)需要包括這些功能：埋點(diǎn)申請(qǐng)、埋點(diǎn)注冊(cè)、埋點(diǎn)管理。

建立數(shù)據(jù)采集規(guī)范

論規(guī)范的重要性

埋點(diǎn)規(guī)范的建立，是用戶行為分析中，我認(rèn)為最重要的事項(xiàng)。在開始埋點(diǎn)前，必須把規(guī)范建立起來，讓所有參與方都按照這個(gè)標(biāo)準(zhǔn)采集數(shù)據(jù)。三個(gè)原因：1）如果各個(gè)業(yè)務(wù)線、團(tuán)隊(duì)都按照各自的想法進(jìn)行數(shù)據(jù)采集，這些數(shù)據(jù)只會(huì)是一個(gè)個(gè)孤島，很難融合在一起發(fā)揮大數(shù)據(jù)的價(jià)值；2）數(shù)據(jù)分析要在統(tǒng)計(jì)口徑一致的情況下討論才有意義，采集需要保證一致性，比如做推薦系統(tǒng)的時(shí)候，希望知道推薦物品的曝光率，這時(shí)就需要對(duì)曝光制定一個(gè)標(biāo)準(zhǔn)。如果業(yè)務(wù)線 A 把出現(xiàn)一點(diǎn)產(chǎn)品圖片的邊緣就算曝光，而業(yè)務(wù)線 B 把出現(xiàn)了整個(gè)產(chǎn)品圖片才叫曝光，那么這樣的統(tǒng)計(jì)結(jié)果就有很大的差異，所以需要做一個(gè)統(tǒng)一的規(guī)定；3）規(guī)范不僅是約束，也是指導(dǎo)，可以讓團(tuán)隊(duì)所有成員都快速上手。

規(guī)范的建立有兩部分：數(shù)據(jù)規(guī)范、過程規(guī)范。

數(shù)據(jù)規(guī)范

數(shù)據(jù)規(guī)范，主要是明確埋點(diǎn)要采集哪些字段，以什么樣的格式，什么樣的采集時(shí)機(jī)，輸出物可以是一份共享的文檔，也可以是線上的系統(tǒng)。
要采集哪些字段？確定采集哪些字段，需要分析來自業(yè)務(wù)線的數(shù)據(jù)需求。比如，要分析不同手機(jī)型號(hào)訪問客戶端的情況，就需要采集手機(jī)型號(hào)這個(gè)字段；再比如，想要知道點(diǎn)擊某個(gè)按鈕時(shí)完成實(shí)名認(rèn)證的用戶有多少，就需要采集是否完成實(shí)名認(rèn)證這個(gè)字段。一般是由數(shù)據(jù)團(tuán)隊(duì)對(duì)接業(yè)務(wù)線運(yùn)營(yíng)產(chǎn)品人員，對(duì)數(shù)據(jù)需求進(jìn)行梳理，拆解成具體要采集的字段（其中應(yīng)包括字段、采集時(shí)機(jī)、取值說明等內(nèi)容），之后給到埋點(diǎn)團(tuán)隊(duì)，確認(rèn)可行性以及數(shù)據(jù)的上報(bào)格式、上報(bào)策略、上報(bào)地址。這樣一份埋點(diǎn)數(shù)據(jù)規(guī)范就形成了，接下來可以將其輸出成文檔在團(tuán)隊(duì)直接共享，或是做到線上的系統(tǒng)上。

埋點(diǎn)方案設(shè)計(jì)示例.png

過程規(guī)范

過程規(guī)范規(guī)定標(biāo)準(zhǔn)工作流，定義參與埋點(diǎn)各方的訴求和職責(zé)，明確協(xié)作的流程，以及各個(gè)環(huán)節(jié)的交付產(chǎn)物。
從埋點(diǎn)需求梳理、埋點(diǎn)設(shè)計(jì)到實(shí)施、測(cè)試、部署的整個(gè)過程中，至少會(huì)涉及以下三類角色/團(tuán)隊(duì)：有埋點(diǎn)需求的業(yè)務(wù)方（以下簡(jiǎn)稱業(yè)務(wù)方）、埋點(diǎn)研發(fā)測(cè)試團(tuán)隊(duì)、數(shù)據(jù)團(tuán)隊(duì)。各自的職責(zé)：

• 業(yè)務(wù)方：業(yè)務(wù)方產(chǎn)生埋點(diǎn)需求，通常是業(yè)務(wù)線的營(yíng)運(yùn)人員、產(chǎn)品經(jīng)理、數(shù)據(jù)分析師，他們根據(jù)業(yè)務(wù)，提埋點(diǎn)需求，埋點(diǎn)完成之后做數(shù)據(jù)分析。他們需要輸入原始需要、注冊(cè)/維護(hù)埋點(diǎn)信息、上線前驗(yàn)收埋點(diǎn)。
• 埋點(diǎn)研發(fā)測(cè)試團(tuán)隊(duì)：負(fù)責(zé)埋點(diǎn)開發(fā)、測(cè)試、上線。由埋點(diǎn)研發(fā)團(tuán)隊(duì)負(fù)責(zé)，具體需要參與埋點(diǎn)需求評(píng)審，確認(rèn)埋點(diǎn)可行性和排期、具體開發(fā)/上線部署埋點(diǎn)。
• 數(shù)據(jù)團(tuán)隊(duì)：負(fù)責(zé)埋點(diǎn)設(shè)計(jì)（滿足業(yè)務(wù)需求需要采集那些字段、屬性）、組織埋點(diǎn)需求評(píng)審、數(shù)據(jù)可視化。

完整的埋點(diǎn)工作流如下：

埋點(diǎn)過程規(guī)范

主要環(huán)節(jié)如下:

1. 埋點(diǎn)需求提交
   該環(huán)節(jié)由業(yè)務(wù)方發(fā)起。通常是業(yè)務(wù)方的營(yíng)運(yùn)人員、產(chǎn)品經(jīng)理、數(shù)據(jù)分析師 根據(jù)業(yè)務(wù)數(shù)據(jù)分析需要，提出埋點(diǎn)需求。
2. 需求評(píng)審
   該環(huán)節(jié)由數(shù)據(jù)團(tuán)隊(duì)主導(dǎo)，埋點(diǎn)研發(fā)測(cè)試團(tuán)隊(duì)參與，業(yè)務(wù)方確認(rèn)。數(shù)據(jù)團(tuán)隊(duì)根據(jù)業(yè)務(wù)?需求進(jìn)行埋點(diǎn)方案設(shè)計(jì)，輸出《埋點(diǎn)方案設(shè)計(jì)?檔》，組織需求評(píng)審。在需求評(píng)審會(huì)上，埋點(diǎn)研發(fā)測(cè)試團(tuán)隊(duì)確認(rèn)需求可行性，業(yè)務(wù)?確認(rèn)事件設(shè)計(jì)方案符合業(yè)務(wù)需求。如一次評(píng)審沒有達(dá)成一致，將多次組織需求 review，直到三個(gè)團(tuán)隊(duì)達(dá)成一致。
3. 埋點(diǎn)開發(fā)
   在埋點(diǎn)開發(fā)之前，業(yè)務(wù)?需要到線上注冊(cè)埋點(diǎn)信息（在用戶行為分析平臺(tái)的埋點(diǎn)管理模塊中完成，埋點(diǎn)模塊管理是用來跟蹤埋點(diǎn)生命周期的，一個(gè)埋點(diǎn)才需求提出，到開發(fā)上線，到最后的上報(bào)監(jiān)控都在該模塊中管理。后面有機(jī)會(huì)詳細(xì)介紹。），信息的內(nèi)容須和最終確認(rèn)的《埋點(diǎn)?方案設(shè)計(jì)文檔》保持?致。研發(fā)團(tuán)隊(duì)確認(rèn)埋點(diǎn)注冊(cè)信息后， 開始具體的開發(fā)?工作。
4. 埋點(diǎn)測(cè)試&驗(yàn)收&上線
   埋點(diǎn)數(shù)據(jù)測(cè)試由測(cè)試人員完成，測(cè)試完成后由數(shù)據(jù)團(tuán)隊(duì)、業(yè)務(wù)方驗(yàn)收后，由研發(fā)人員部署上線。
5. 數(shù)據(jù)分析和上報(bào)監(jiān)控
   埋點(diǎn)上線后，業(yè)務(wù)方可登錄用戶行為分析平臺(tái)進(jìn)?數(shù)據(jù)分析，并對(duì)上報(bào)的埋點(diǎn)數(shù)據(jù)進(jìn)行監(jiān)控。