最近從某某頭部出海應(yīng)用離職，有些空閑來重新思考一些項目和產(chǎn)品上的思路，想著重新去梳理下數(shù)據(jù)分析的框架，分為數(shù)據(jù)基礎(chǔ)（指標(biāo)體系、埋點體系、AB流程）和分析方法（用戶分群、行為分析、漏斗分析等）。更多的是想從過往的一些案例中重新思考數(shù)據(jù)的應(yīng)用場景。
先從AB這個談起吧，主要是在睿琪的時候，看著這AB實驗框架和流程逐步搭建完善，從中也有不小的收獲。重新認(rèn)識到了過往對于AB的一些誤區(qū)。當(dāng)然，睿琪這塊也是有著不小的問題，也和我從這里離開的一個原因。

定義

通過隨機分組的方式，對于兩組用戶呈現(xiàn)不同的產(chǎn)品方案，然后根據(jù)實驗數(shù)據(jù)反饋，確定實驗方案是否勝出的方法。

為什么

版本評估
驗證產(chǎn)品判斷

流程

規(guī)劃階段

過往的時候，會把AB限定在一個版本評估的工具上，而忽視了其貫穿在整個產(chǎn)品迭代的過程作用
對于一款產(chǎn)品，其流量是可預(yù)期和估量的，那就可以導(dǎo)致在特定的時間區(qū)間內(nèi)，其可測的方案數(shù)量是有限的。即產(chǎn)品方案爭奪的不僅是研發(fā)等資源，還要爭取流量資源。
那就需要在規(guī)劃階段，尤其在兩月期，就需要結(jié)合目標(biāo)和指標(biāo)，反過來思考方案的節(jié)奏，通道的分配。

評審階段

需要根據(jù)版本針對人群，目標(biāo)指標(biāo)，預(yù)期提升，占用功能模塊及對應(yīng)流量，計算所需時間段（根據(jù)現(xiàn)有指標(biāo)，預(yù)期提升，通道流量）
注：過長的時間跨度會引入過多變量導(dǎo)致方案勝出的不可信

方案價值和可行性評審，同常規(guī)流程

方案勝出鋪開和失敗下線影響評估

上線階段

觀測多維度指標(biāo)，目標(biāo)指標(biāo)，過程與行為指標(biāo)，保護性指標(biāo)

復(fù)盤階段

指標(biāo)提升置信度
指標(biāo)提升與過程變化相關(guān)性
結(jié)合用戶分群進一步細(xì)分挖掘，找出可進一步優(yōu)化的空間
注：對于勝出方案和失敗方案，其實其價值是類似的，說明用戶沒有受到影響，這個迭代方向可能都是有問題的。

勝出鋪開階段

不同用戶群體可能差異測試
不同平臺可能調(diào)整

案例

講個有趣的案例，進入這家公司后，過往的方案文檔還是比較完善，近一年上線方案，無論失敗還是成功，相應(yīng)的文檔、埋點和數(shù)據(jù)都是可以追溯。這個還是需要為睿琪點個贊
我在對過往的幾個方案進行橫向比較，會發(fā)現(xiàn)有個用戶特征標(biāo)簽，在多個失敗方案中通過特征標(biāo)簽劃分分群會看到截然相反的數(shù)據(jù)結(jié)果。
在進行進一步的分析后，想了幾個假設(shè)，重新提交了幾個方案進行驗證。
這里想通過這個案例說的是，AB測試是否勝出其實都是一個很寶貴的資源，其被不同的人所解讀可能會產(chǎn)生很多的假設(shè)和后續(xù)的方案。

思考

AB雖好，不可全依賴

當(dāng)下這家公司就進入了這個誤區(qū)，無論什么方案都是需要走AB，但這個又決定了整個產(chǎn)品部門，難以去做大的規(guī)劃和分步驟的迭代。
雖在規(guī)則里說，可以接受不勝出的方案，通過分布迭代產(chǎn)出最后的勝出。但AB的小步性，決定了很難和大的版本進行結(jié)合。

基于假設(shè)，單變量測試

這個是在產(chǎn)品方案評審的時候，新人常范的錯誤，會把一些想法一股腦的放進一個方案里，而沒有考慮不同假設(shè)之間的沖突影響。這樣才能在最終數(shù)據(jù)結(jié)果出現(xiàn)，難以確定是哪個假設(shè)影響導(dǎo)致的。

實驗影響用戶群體

受AB技術(shù)影響，一些方案其分配的用戶流量和真實收到方案影響的用戶群體其實會存在較大的差異（一般為子集），則需要在計算數(shù)據(jù)置信度的時候，進行切分，否則可能會導(dǎo)致實際勝出的方案最終被判斷為失敗。

不同通道交叉

對于同個通道方案一般會有較為清晰的評估是否會有相應(yīng)的影響，進而切分為前后版本。
但有些時候即使是不同的通道，也會造成一定的影響，需要有人從全局的角度對其進行把控。