1 ?為什么要做A/B實驗？
A/B實驗，是一種驗證假設(shè)的方法，其核心方法及原理分別是對照實驗及假設(shè)檢驗。
在實際實驗時會從總體抽取部分個體組成樣本單位，并從個體實驗結(jié)果推斷總體結(jié)果。
1-1、實驗原因
由于對照實驗遵循單一變量原則，能通過對比發(fā)現(xiàn)因果性，并根據(jù)實驗結(jié)果量化正向和負(fù)向的影響程度。
當(dāng)實現(xiàn)了某個新的特性，我們無法準(zhǔn)確預(yù)估上線后是增益還是減益，從風(fēng)險和成本的角度考量，會切分小流量進(jìn)行驗證。
小型實驗也意味著大部分能在單研發(fā)團(tuán)隊自助完成，時間和效率也能得到保障。
1-2、適用場景
A/B實驗，解決的是策略優(yōu)化問題，它能幫助我們從可選策略中選擇最優(yōu)策略。
它可以讓我們在已達(dá)到的山上越來越高，卻不能用它來發(fā)現(xiàn)一座新的山脈。
2??明確目的
數(shù)據(jù)分析的過程中一般的次序為：相關(guān)性>>因果性>>效果。
先通過數(shù)據(jù)分析洞察相關(guān)性，再通過實驗提出假設(shè)，模糊預(yù)估其因果性。在證明成功后根據(jù)首次實驗效果，持續(xù)優(yōu)化時再進(jìn)行清晰預(yù)估。
3? 確認(rèn)指標(biāo)
1）正負(fù)指標(biāo)
正向指標(biāo)，一般依據(jù)實驗路徑制定，是策略好壞的直接評價，如：留存人數(shù)->點擊人數(shù)->瀏覽人數(shù)->成交人數(shù)。
負(fù)向指標(biāo)，適用于結(jié)果指標(biāo)相近的場景，如實驗策略是下發(fā)公眾號模板，其中兩組的成交人數(shù)相近，但實驗組卻致使用戶取關(guān)人數(shù)激增。
如正向收益小于負(fù)向收益，則應(yīng)分析問題考慮優(yōu)化實驗或停止實驗。
2）結(jié)果、過程、觀察指標(biāo)
結(jié)果指標(biāo)是實驗?zāi)康?，過程指標(biāo)體現(xiàn)如何完成。觀察指標(biāo)則指的相關(guān)性指標(biāo)，多用于預(yù)估上升空間，如成交人數(shù)上升，但件均金額較低或購買對象僅覆蓋本人。
依據(jù)觀察指標(biāo)，可以預(yù)估上升空間，并設(shè)計下一個實驗。這3個指標(biāo)在此前《數(shù)據(jù)分析的邏輯思維及分析方法》已有較全面的描述，在這里也不再贅述了，有興趣的朋友可以查閱該文章。
4? 制定策略
4-1、實驗類型
1）互斥實驗
遵循單一變量原則的代表是互斥實驗，即用戶同時間僅可進(jìn)行一個實驗，通過流量的互斥保障實驗結(jié)果不受干擾。
但當(dāng)實驗越來越多，同時間可進(jìn)行實驗的用戶量減少。流量不足，樣本的代表性差。如果要等待前述實驗結(jié)束再進(jìn)行下一實驗，驗證周期增長、效率降低。
2）正交實驗
為了解決互斥實驗的流量問題，使用的方法是正交實驗，也稱分層實驗。在此，分層的依據(jù)是不同的實驗。
正交實驗?zāi)苁沽髁抗蚕?，同時進(jìn)行多個實驗，但我們需保障各層的劃分參數(shù)相互獨立且互不影響。
如：上一層的綠色字體不能與綠色背景正交。但綠色字體可以與藍(lán)色背景正交實驗，綠色字體也可以與只能推薦正交。
最后還有一個小的細(xì)節(jié)是，實驗流量的來源不僅是上一層實驗。這里涉及的內(nèi)容可以參考谷歌的論文《Overlapping Experiment Infrastructure》。
4-2、實驗設(shè)計
實驗設(shè)計須注意的點是，盡量先粗后細(xì)，盡量先追求深度再追求廣度。當(dāng)產(chǎn)品有明顯不佳的體驗，其實更應(yīng)該迅速迭代優(yōu)化，并不是每件事都要有數(shù)據(jù)、有實驗證明。
5? 選擇樣本
5-1、抽樣的原則
1）唯一性原則
唯一性指在用戶進(jìn)行實驗時，從始至終僅命中相同的策略。幫助我們更準(zhǔn)確的歸因并讓用戶維持相同的體驗。
2）均勻性原則
均勻性原則有兩層定義，數(shù)量的均勻和特征的均勻。
前者是為了保證組間樣本數(shù)量，減少因數(shù)量小導(dǎo)致實驗波動過大，后者則能使樣本代表性更強(qiáng)。假設(shè)分組中的女性占比過高，則實驗的結(jié)論無法推斷男性在這一實驗中是否有類似的行為。
特征的均勻也應(yīng)與實驗?zāi)康南嘟Y(jié)合，如實驗指標(biāo)為某按鈕點擊率，實驗組樣本的點擊率已在較高的基準(zhǔn)線上，則可能無法分析策略優(yōu)劣。
5-2、抽樣方法
1）完全隨機(jī)分組
完全隨機(jī)分組，也稱CR（Complete Randomization），是最常見的隨機(jī)分組方式之一。常見的實現(xiàn)形式為對某ID字段哈希后對10取模，根據(jù)結(jié)果值進(jìn)入不同的組。
如果隨機(jī)選取ID進(jìn)行哈希取模，那么是簡單隨機(jī)抽樣。如果先將ID排序，逢6取1（6、16、26...）后再進(jìn)行哈希取模，我們也稱之為等距抽樣。
2）重新隨機(jī)分組
完全隨機(jī)分組，由于不考慮樣本的特征是否均勻，可能會導(dǎo)致某組樣本的結(jié)果指標(biāo)偏高或者偏低。為了解決此問題，我們可以AA實驗觀察樣本差異或使用重新隨機(jī)分組（ReRandomization）。
其原理為，每次隨機(jī)分組后，通過驗證組間差異是否小于設(shè)定的閾值。如果差異大于閾值，則重新分組，否則則停止分組。
此方法相比完全隨機(jī)分組更準(zhǔn)確，由于缺乏重跑的依據(jù)，得到合適的樣本是概率性的，也可能造成很大的耗時。一般而言樣本量越大，重分的次數(shù)越少。
3）自適應(yīng)分組
Adaptive自適應(yīng)分組，是滴滴AI Lab團(tuán)隊自研的分組方法，其能夠在只分組一次的情況下，讓選定的觀測指標(biāo)在分組后每組分布基本一致。
它在每次分組的時，記錄當(dāng)前分配的樣本數(shù)以及樣本分布，并計算當(dāng)前對象分配至該組后該組的特征均勻情況，從而決定應(yīng)分至哪個組。
6? 實驗分析
6-1、放量/全量
A/B實驗，是小流量驗證的實驗方式，那我們應(yīng)如何放量呢？
其前提如下：
1）結(jié)果顯著，至少保證95%的可信度。
2）正向指標(biāo)價值＞負(fù)向指標(biāo)價值
3）效果穩(wěn)定，不因時間周期等元素變化劇烈波動
常見的放量方式有兩種，流量開放以及實驗推廣。流量開放包含了實驗內(nèi)對照組和實驗組流量的切分，也可在源頭再增加樣本。
實驗推廣，則是將此實驗在其他特征、行為的群體中推廣。
6-2、再實驗&終止
再實驗的原因，從效果的次序來看是：無法肯定是否有效果->無效果->效果不明顯->負(fù)反饋。負(fù)反饋如果影響了核心流程，則應(yīng)考慮終止實驗。
關(guān)于這2者的分析方法和需求分析是相近的，可以參考邏輯樹“自下而上”的方法，先將每1環(huán)節(jié)可能出現(xiàn)的問題，再依次向上聚合。
7 ?幾個理論
1）辛普森悖論
在分組中占優(yōu)勢的一方，在整體中有時反而是劣勢的一方。
2）幸存者偏差
只看結(jié)果，卻忽略了呈現(xiàn)結(jié)果的用戶是誰。
3）新奇效應(yīng)
一開始對實驗策略有較好的回應(yīng)，但一段時間迅速消失。
前2者，主要用于探究樣本的代表性和均勻性。新奇效應(yīng)則應(yīng)在單一變量下，重復(fù)、長時地進(jìn)行實驗，保障實驗結(jié)果不受實驗影響。
寫在最后
這篇文章始終感覺難度很大，從雙盲實驗到A/B實驗，這兩個詞已經(jīng)被成千上萬的文章解讀過很多遍，讓我甚至寫不出前言。最終選擇的切入點是，邏輯梳理和知識再提煉。
也因為再提煉，會根據(jù)自身的理解省略了前期建設(shè)、上線監(jiān)控等環(huán)節(jié)，其中監(jiān)控更適合開單章，而數(shù)學(xué)、算法原理已經(jīng)有朋友總結(jié)了很全面了，有興趣的朋友可以閱讀下方的參考資料。
感謝你看到這里，謝謝。
參考資料
1、騰訊PCG-E計劃：實驗設(shè)計及決策基礎(chǔ)篇
2、ABtest 和假設(shè)檢驗、流量分配
https://www.6aiq.com/article/1555861276270?p=1&m=0
3、假設(shè)檢驗的運用
https://www.cnblogs.com/wobujiaonaoxin/articles/11910326.html
4、abtest-數(shù)據(jù)分析-假設(shè)檢驗基礎(chǔ)
https://cloud.tencent.com/developer/article/1427845
5、哈希表是什么
http://www.woshipm.com/pmd/805326.html
6、區(qū)塊鏈節(jié)點間的數(shù)據(jù)驗證：哈希值與非對稱加密
http://www.woshipm.com/blockchain/1019704.html
7、Overlapping Experiment Infrastructure重疊的實驗基礎(chǔ)設(shè)施
https://max.book118.com/html/2018/0131/151334020.shtm
8、AB實驗在滴滴數(shù)據(jù)驅(qū)動中的應(yīng)用
https://mp.weixin.qq.com/s/RQmb4c0U3j7NKNWqERvkrQ
