數(shù)據(jù)的全流程一般涉及到采集、傳輸、加工、存儲(chǔ)、應(yīng)用等過程。
-
采集
數(shù)據(jù)采集
上圖完成了一個(gè)頁(yè)面的曝光展示。
如果對(duì)該曝光事件加上埋點(diǎn)，前兩步是沒有影響的，在第三步：服務(wù)器在返回HTTP內(nèi)容時(shí)，會(huì)加入一段與埋點(diǎn)相關(guān)的腳本代碼（這段代碼可能是手動(dòng)埋點(diǎn)寫入的，也可能是半自動(dòng)或全自動(dòng)埋點(diǎn)方式寫入的）。
客戶端或?yàn)g覽器解析到這部分內(nèi)容時(shí)，會(huì)向埋點(diǎn)日志接收服務(wù)器（以下簡(jiǎn)稱埋點(diǎn)服務(wù)器）發(fā)送一個(gè)請(qǐng)求。這個(gè)請(qǐng)求中即帶有我們通過埋點(diǎn)想獲得的寶貴的數(shù)據(jù)信息。埋點(diǎn)服務(wù)器接受到請(qǐng)求后，會(huì)返回一個(gè)已接收的信息給客戶端。同時(shí)，埋點(diǎn)服務(wù)器會(huì)將這些信息傳輸?shù)胶罄m(xù)環(huán)節(jié)。
數(shù)據(jù)準(zhǔn)確性
在客戶端向埋點(diǎn)服務(wù)器發(fā)送信息的過程中，可能存在丟包，即數(shù)據(jù)發(fā)送失敗信息沒有傳輸過去的情況。該發(fā)送過程一般通過POST格式，發(fā)送JSON串信息，具體方式分兩種：一種是單條發(fā)送；一種是在本地打包成zip包，積累一定量后發(fā)送。兩種方式中，zip的丟包情況更嚴(yán)重些。所以PM在看數(shù)據(jù)時(shí)候，也應(yīng)當(dāng)清楚，數(shù)據(jù)會(huì)有一定誤差。（據(jù)作者實(shí)踐經(jīng)驗(yàn)，單條POST格式數(shù)據(jù)誤差一般不超過2%）
-
傳輸流程
傳輸流程
埋點(diǎn)數(shù)據(jù)產(chǎn)生之后，被埋點(diǎn)服務(wù)器接收，有些時(shí)候會(huì)進(jìn)行解析操作，然后會(huì)通過消息訂閱通道例如kafka之類進(jìn)行消息的分發(fā)，進(jìn)入離線或?qū)崟r(shí)的儲(chǔ)存中，用于后續(xù)的計(jì)算和分析。
- 加工和存儲(chǔ)過程
加工：經(jīng)過加工存儲(chǔ)這一步后，埋點(diǎn)數(shù)據(jù)基本可以從收集到的原材料狀態(tài)變?yōu)榭梢詾闃I(yè)務(wù)服務(wù)的有用數(shù)據(jù)了。埋點(diǎn)數(shù)據(jù)都是一條一條，是用戶觸發(fā)埋點(diǎn)對(duì)應(yīng)事件時(shí)上傳的。
這些數(shù)據(jù)可能包括：用戶會(huì)話id，用戶id，當(dāng)前頁(yè)面編碼，當(dāng)前事件編碼，觸發(fā)時(shí)間，用戶設(shè)備id，ip信息等，這些零散的信息需要通過加工處理進(jìn)行聚合，變成更加通用常用的數(shù)據(jù)，便于后續(xù)調(diào)用。
例如：一些通用的處理：針對(duì)APP首頁(yè)曝光事件，選取當(dāng)日首頁(yè)曝光事件上傳的數(shù)據(jù)條數(shù)，對(duì)用戶id去重并加和即可以得到當(dāng)日的UV。
存儲(chǔ)：對(duì)于離線存儲(chǔ)來(lái)說(shuō)，埋點(diǎn)原始數(shù)據(jù)會(huì)以表（類似excel表）的形式存儲(chǔ)于數(shù)據(jù)倉(cāng)庫(kù)的原始數(shù)據(jù)層，經(jīng)過上述處理過的數(shù)據(jù)，會(huì)以另外一張表的形式存儲(chǔ)于數(shù)據(jù)倉(cāng)庫(kù)的匯總層。如果數(shù)據(jù)倉(cāng)庫(kù)建設(shè)比較完善，通用的業(yè)務(wù)數(shù)據(jù)，直接從匯總層甚至更上層的應(yīng)用層中取即可，而不必再去取原始層的埋點(diǎn)數(shù)據(jù)，省去了每次計(jì)算的工作量。
數(shù)據(jù)倉(cāng)庫(kù)三層結(jié)構(gòu)
- 應(yīng)用過程
任何需要用戶行為數(shù)據(jù)的場(chǎng)景，可能都能用到埋點(diǎn)信息。
埋點(diǎn)數(shù)據(jù)可以用來(lái)計(jì)算頁(yè)面的UV/PV、控件的點(diǎn)擊PV/UV等基礎(chǔ)數(shù)據(jù)，按照不同維度進(jìn)一步加工可得APP的日活月活；也可以計(jì)算頁(yè)面停留時(shí)間，流失率等；更為復(fù)雜一些，通過當(dāng)前事件和上一事件間的關(guān)系（需要在埋點(diǎn)中定義），可以繪制出用戶的行為路徑圖，計(jì)算漏斗轉(zhuǎn)化率等等。
