? ? ? ?數(shù)據(jù)采集是數(shù)據(jù)分析的基礎(chǔ)，而埋點是最主要的采集方式。那么數(shù)據(jù)埋點采集到底都是哪些事呢？我們主要從三個方面來看：什么是埋點，埋點怎么設(shè)計，埋點的應(yīng)用。

一、數(shù)據(jù)采集以及常見數(shù)據(jù)問題

1.1數(shù)據(jù)采集

? ? ? ?數(shù)據(jù)采集有多種方式，埋點采集是其中非常重要的一部分，不論對c端還是b端產(chǎn)品都是主要的采集方式，數(shù)據(jù)采集，顧名思義采集相應(yīng)的數(shù)據(jù)，是整個數(shù)據(jù)流的起點，采集的全不全，對不對，直接決定數(shù)據(jù)的廣度和質(zhì)量，影響后續(xù)所有的環(huán)節(jié)；在數(shù)據(jù)采集有效性，完整性不好的公司，經(jīng)常會有業(yè)務(wù)發(fā)現(xiàn)數(shù)據(jù)發(fā)生大幅度變化。

數(shù)據(jù)的處理，通常由以下5步構(gòu)成：

1.2常見數(shù)據(jù)問題

大體知道數(shù)據(jù)采集及其架構(gòu)之后，我們看看工作中遇到的問題，有多少是跟數(shù)據(jù)采集環(huán)節(jié)有關(guān)的

1、數(shù)據(jù)和后臺差距很大，數(shù)據(jù)不準確-統(tǒng)計口徑不一樣、埋點定義不一樣、采集方式帶來誤差

2、想用的時候，沒有我想要的數(shù)據(jù)-沒有提數(shù)據(jù)采集需求、埋點不正確不完整

3、事件太多，不清楚含義-埋點設(shè)計的方式、埋點更新迭代的規(guī)則和維護

4、分析數(shù)據(jù)不知道看哪些數(shù)據(jù)和指標-數(shù)據(jù)定義不清楚，缺乏分析思路

??? 我們需要根源性解決問題：把采集當(dāng)成獨立的研發(fā)業(yè)務(wù)來對待，而不是產(chǎn)品研發(fā)中的附屬品

二、埋點是什么

2.1埋點是什么

? ? ???所謂埋點，就是數(shù)據(jù)采集領(lǐng)域的術(shù)語。它的學(xué)名應(yīng)該叫做事件追蹤，對應(yīng)的英文是EventTracking? 指的是針對特定用戶行為或事件進行捕獲，處理和發(fā)送的相關(guān)技術(shù)及其實施過程。數(shù)據(jù)埋點是數(shù)據(jù)分析師，數(shù)據(jù)產(chǎn)品經(jīng)理和數(shù)據(jù)運營，基于業(yè)務(wù)需求或者產(chǎn)品需求對用戶行為的每一個事件對應(yīng)位置進行開發(fā)埋點，并通過SDK上報埋點的數(shù)據(jù)結(jié)果，記錄匯總數(shù)據(jù)后進行分析，推動產(chǎn)品優(yōu)化和指導(dǎo)運營。

? ? ? ?流程伴隨著規(guī)范，通過定義我們看到，特定用戶行為和事件是我們的采集重點，還需要處理和發(fā)送相關(guān)技術(shù)及實施過程；數(shù)據(jù)埋點是服務(wù)于產(chǎn)品，又來源于產(chǎn)品中，所以跟產(chǎn)品息息相關(guān)，埋點在于具體的實戰(zhàn)過程，跟每個人對數(shù)據(jù)底層的理解程度有關(guān)。

2.2為什么要做埋點

? ? ? ?埋點就是為了對產(chǎn)品進行全方位的持續(xù)追蹤，通過數(shù)據(jù)分析不斷指導(dǎo)優(yōu)化產(chǎn)品。數(shù)據(jù)埋點的質(zhì)量直接影響到數(shù)據(jù)，產(chǎn)品，運營等質(zhì)量。

?1、數(shù)據(jù)驅(qū)動-埋點將分析的深度下鉆到流量分布和流動層面，通過統(tǒng)計分析，對宏觀指標進行深入剖析，發(fā)現(xiàn)指標背后的問題，洞察用戶行為與提升價值之間的潛在關(guān)聯(lián)

?2、產(chǎn)品優(yōu)化-對產(chǎn)品來說，用戶在產(chǎn)品里做了什么，停留多久，有什么異常都需要關(guān)注，這些問題都可以通過埋點的方式實現(xiàn)

?3、精細化運營-埋點可以貫徹整個產(chǎn)品的生命周期，流量質(zhì)量和不同來源的分布，人群的行為特點和關(guān)系，洞察用戶行為與提升業(yè)務(wù)價值之間的潛在關(guān)聯(lián)。

2.3埋點的方式

埋點的方式都有哪些呢，當(dāng)前大多數(shù)公司都是客戶端，服務(wù)端相結(jié)合的方式

準確性：代碼埋點>可視化埋點>全埋點

?

三、埋點的框架和設(shè)計

3.1埋點采集的頂層設(shè)計

? ? ? ?所謂的頂層設(shè)計就是想清楚怎么做埋點，用什么方式，上傳機制是什么，具體怎么定義，具體怎么落地等等；我們遵循唯一性，可擴展性，一致性等的基礎(chǔ)上，我們要設(shè)計一些通用字段及生成機制，比如：cid, idfa,idfv等。

用戶識別：用戶識別機制的混亂會導(dǎo)致兩個結(jié)果：一是數(shù)據(jù)不準確，比如UV數(shù)據(jù)對不上；二是涉及到漏斗分析環(huán)節(jié)出現(xiàn)異常。因此應(yīng)該做到：a.嚴格規(guī)范ID的本身識別機制；b.跨平臺用戶識別

同類抽象: 同類抽象包括事件抽象和屬性抽象。事件抽象即瀏覽事件，點擊事件的聚合；屬性抽象，即多數(shù)復(fù)用的場景來進行合并,增加來源區(qū)分

采集一致：采集一致包括兩點：一是跨平臺頁面命名一致，二是按鈕命名一致；埋點的制定過程本身就是規(guī)范底層數(shù)據(jù)的過程，所以一致性是特別重要，只有這樣才能真正的用起來

渠道配置：渠道主要指的是推廣渠道，落地頁，網(wǎng)頁推廣頁面，APP推廣頁面等，這個落地頁的配置要有統(tǒng)一規(guī)范和標準

3.2埋點采集事件及屬性設(shè)計

? ? ? ?在設(shè)計屬性和事件的時候，我們要知道哪些經(jīng)常變，哪些不變，哪些是業(yè)務(wù)行為，哪些是基本屬性?；诨緦傩允录?，我們認為屬性是必須采集項，只是屬性里面的事件屬性根據(jù)業(yè)務(wù)不同有所調(diào)整而已，因此，我們可以把埋點采集分為協(xié)議層和業(yè)務(wù)層埋點。

業(yè)務(wù)分解：梳理確認業(yè)務(wù)流程、操作路徑和不同細分場景、定義用戶行為路徑

分析指標：對特定的事件進行定義、核心業(yè)務(wù)指標需要的數(shù)據(jù)

事件設(shè)計：APP啟動，退出、頁面瀏覽、事件曝光點擊

屬性設(shè)計：用戶屬性、事件屬性、對象屬性、環(huán)境屬性

3.3數(shù)據(jù)采集事件及屬性設(shè)計

Ev事件的命名，也遵循一些規(guī)則，同一類功能在不同頁面或位置出現(xiàn)時，按照功能名稱命名，頁面和位置在ev參數(shù)中進行區(qū)分。僅是按鈕點擊時，按照按鈕名稱命名。

ev事件格式：ev分為ev標識和ev參數(shù)

規(guī)則：

ev標識和ev參數(shù)之間用“#”連接（一級連接符）；

ev參數(shù)和ev參數(shù)之間用“/”來連接（二級連接符）；

ev參數(shù)使用key=value的結(jié)構(gòu)，當(dāng)一個key對應(yīng)多個value值時，value1與value2之間用“，”連接（三級連接符）；

當(dāng)埋點僅有ev標識沒有ev參數(shù)的時候，不需要帶#；

備注：

ev標識：作為埋點的唯一標識，用來區(qū)分埋點的位置和屬性，不可變，不可修改；

ev參數(shù)：埋點需要回傳的參數(shù)，ev參數(shù)順序可變，可修改；

app埋點調(diào)整的時，ev標識不變，只修改后面的埋點參數(shù)（參數(shù)取值變化或者增加參數(shù)類型）

一般埋點文檔中所包含的sheet名稱以及作用：

A、曝光埋點匯總；

B、點擊和瀏覽埋點匯總；

C、失效埋點匯總：一般會記錄埋點失效版本或時間；

D、PC和M端頁面埋點所對應(yīng)的pageid；

E、各版本上線時間記錄；

埋點文檔中，所有包含的列名及功能：

?

3.4基于埋點的數(shù)據(jù)統(tǒng)計

用埋點統(tǒng)計數(shù)據(jù)怎么查找埋點ev事件：

1.????? [endif]明確埋點類型（點擊/曝光/瀏覽）——篩選type字段

2.????? [endif]明確按鈕埋點所屬頁面（頁面或功能）——篩選功能模塊字段

3.????? [endif]明確埋點事件名稱——篩選名稱字段

4.????? [endif]知道ev標識，可直接用ev來進行篩選

根據(jù)ev事件怎么進行查數(shù)統(tǒng)計：當(dāng)查詢按鈕點擊統(tǒng)計時，可直接用ev標識進行查詢，當(dāng)有所區(qū)分可限定埋點參數(shù)取值；因為ev參數(shù)的順序不做要求可變，所以查詢統(tǒng)計時，不能按照參數(shù)的順序進行限定；

四、應(yīng)用-數(shù)據(jù)流程的基礎(chǔ)

4.1指標體系

體系化的指標可以綜合不同的指標不同的維度串聯(lián)起來進行全面的分析，會更快的發(fā)現(xiàn)目前產(chǎn)品和業(yè)務(wù)流程存在的問題。

4.2可視化

人對圖像信息的解釋效率比文字更高，可視化對數(shù)據(jù)分析極為重要，利用數(shù)據(jù)可視化可以揭示出數(shù)據(jù)內(nèi)在的錯綜復(fù)雜的關(guān)系。

4.3埋點元信息api提供

數(shù)據(jù)采集服務(wù)會對采集到的埋點寫入到Kafka 中，對于各個業(yè)務(wù)的實時數(shù)據(jù)消費需求，我們?yōu)槊總€業(yè)務(wù)提供了單獨的Kafka，流量分發(fā)模塊會定期讀取埋點管理平臺提供的元信息，將流量實時分發(fā)的各業(yè)務(wù)Kafka 中。

? ? ??數(shù)據(jù)采集猶如設(shè)計產(chǎn)品，不能過度，留出擴展余地，但要經(jīng)常思考數(shù)據(jù)有沒有，全不全，細不細，穩(wěn)不穩(wěn)，快不快.

歡迎關(guān)注我的微信公眾號：趙小洛洛洛