A/BTest設(shè)計原理

將測試內(nèi)容定為兩組流量的唯一變量，保證其他條件相同，通過對比測試，觀察被測試的部分是否達(dá)到預(yù)期。

分流原則

1.關(guān)注評估測試效果的數(shù)據(jù)指標(biāo)

2.關(guān)注數(shù)據(jù)分布之離散程度與分布形狀

離散程度

兩組數(shù)據(jù)核心指標(biāo)的歷史均值一致，不能說明兩組數(shù)據(jù)完全一樣，均值反應(yīng)數(shù)據(jù)的集中趨勢，只是描述數(shù)據(jù)的維度之一

還應(yīng)該關(guān)注數(shù)據(jù)的波動情況以及分布的形狀

歷史波動：波動反應(yīng)的是數(shù)據(jù)的離散程度，實際操作中，因為標(biāo)準(zhǔn)差和均值的單位是一致的，通常選取標(biāo)準(zhǔn)差描述一個波動范圍更為方便?！鶤/BTest中，需知道A、B兩組的標(biāo)準(zhǔn)差

分布形狀

形狀主要指兩組數(shù)據(jù)的對稱程度、偏斜程度以及扁平程度

總結(jié)（對數(shù)據(jù)進(jìn)行多維度分析比較）：

a.兩組數(shù)據(jù)均值的差值是否小于正常波動，保證兩組數(shù)據(jù)足夠差異小。

b.組內(nèi)標(biāo)準(zhǔn)差分別與指標(biāo)對比，判斷數(shù)據(jù)本身波動是否足夠小，保證數(shù)據(jù)本身穩(wěn)定。

c.兩組標(biāo)準(zhǔn)差對比，以保證兩組數(shù)據(jù)的波動情況類似。

d.兩組數(shù)據(jù)的分布對比，判斷是否相同。

常識

組內(nèi)標(biāo)準(zhǔn)差小于指標(biāo)的5%，可認(rèn)為沒有波動，如果在5%～10%之間，需要分析波動大的原因，如果超過10%，則需要判斷是因為數(shù)據(jù)量小，自然波動大，還是分組并沒有達(dá)到隨機(jī)，導(dǎo)致波動過大，并考慮重新分組。

效果評估

1.關(guān)注核心指標(biāo)的增長效果

分析兩組流量的最終效果，計算核心指標(biāo)的絕對值與變化率，以及兩組的自然波動，作出判斷

例子

如果變化率為負(fù)，和標(biāo)準(zhǔn)差對比，是否為正常波動。不管是正常波動還是顯性降低，都說明本次功能點(diǎn)或者策略效果不理想，需要分析原因，調(diào)整策略或者啟動planB、C、D…繼續(xù)測試。

如果變化率為正，同樣與標(biāo)準(zhǔn)差對比，判斷是否為顯性增長，如果要嚴(yán)格區(qū)分自然波動與增長效果，需要用增長效果數(shù)據(jù)減掉自然波動絕對值。

2.關(guān)注數(shù)據(jù)分布的變化

即使核心指標(biāo)為顯性增長，依然要關(guān)注兩組數(shù)據(jù)的分布形狀是否仍然相同，對比歷史數(shù)據(jù)，觀察發(fā)生什么變化，思考影響變化的原因，是否新的調(diào)整導(dǎo)致兩組用戶群的使用習(xí)慣發(fā)生了其他方面的改變。

補(bǔ)充

百分率與百分點(diǎn)

數(shù)據(jù)本身為xx率的情況下，效果評估中兩組數(shù)據(jù)對比后的增長率和增長百分點(diǎn)均為百分?jǐn)?shù)形式。

百分率可作為增長效果評估與匯報數(shù)據(jù)。

百分點(diǎn)則要作為輔助指標(biāo)，與波動（一般為平方差）對比，說明數(shù)據(jù)的有效性。