ABTest難點在采集數(shù)據(jù)和統(tǒng)計數(shù)據(jù)。當(dāng)然首先要確認(rèn)測試的指標(biāo)。
What is A/BTesting?
ABTest是什么？
在同一時期，同一個流程或頁面，設(shè)計幾種方案，上線隨機分發(fā)，并行運行一段時間后收集數(shù)據(jù)，通過數(shù)據(jù)分析來驗證方案的優(yōu)劣。
ABTest是統(tǒng)計學(xué)上的一個命題，盡可能的追求單一變量。在中學(xué)化學(xué)實驗中也多次應(yīng)用該方法。
ABTest一般配合灰度發(fā)布，也可以單獨服用。
灰度發(fā)布，更偏用戶讓少量的用戶群先使用某些功能，看效果，再推向更多的用戶群體，下文在怎么實施ABTest時會提到。
ABTest不是什么？
全量用戶更新的功能，前后版本的對比數(shù)據(jù)，不論更新前后數(shù)據(jù)表現(xiàn)如何，都不是ABTest，因為有多干擾項。
同一時期同一版本流程、頁面有太多不一樣，那么ABTest也僅能做定性分析。
Why do we do it?
針對不同團隊的資源和風(fēng)格，在產(chǎn)品的某些階段，當(dāng)團隊無法確定哪種方案是更好的，又想摒棄拍腦袋、一言堂的方式，那么用ABTest使數(shù)據(jù)來反饋是更優(yōu)更科學(xué)的做法。
正確使用ABTest實驗得出的結(jié)果，擇其優(yōu)避其害，推廣到全集，更有利于我們做出正確的決策。
When to do it?
在產(chǎn)品初期，筆者以為，資源有限的情況下，可以使用線下（人肉）ABTest的方式進行。
幾個方案的UI設(shè)計稿，在種子用戶群（抽幾波人）中進行訪談。
根據(jù)最終反饋的結(jié)果進行再次優(yōu)化和抉擇。
在產(chǎn)品成長期，有一定的用戶量和相對固定的流程后，再次優(yōu)化，可以采用線上的方式，對不同方案進行分發(fā)，然后采集數(shù)據(jù)。
Who do it?
其實產(chǎn)研營都可以去做，研發(fā)的ABTest今天不講。說下產(chǎn)品和運營的ABTest。
產(chǎn)品和UI：色調(diào)風(fēng)格，信息布局，頁面信息優(yōu)先級，流程跳轉(zhuǎn)等方面。
運營：文案、時間點、觸達方式、流量來源、分發(fā)渠道、廣告等運營干預(yù)策略的對比。
How to do it?
指標(biāo)確定
每次ABTest都有個核心目標(biāo)，不論是注冊量、轉(zhuǎn)化率、成交量、點擊量、點擊率、停留時間、渠道效果、UI布局、用戶體驗、產(chǎn)品功能、算法效果等皆可。
方案設(shè)定
設(shè)計ABTest，不僅僅是不同方案進行驗證，而是一個整體的解決方案。各行業(yè)各產(chǎn)品大家會有各自不同的方案，這里講下應(yīng)注意到的點：
參與測試的方案相差不要太大，不然即便有好的結(jié)果，也很難有所總結(jié)，形成知其然不知其所以然的局面
同一時間段，多個方案并行
亦可單一測試方案，與現(xiàn)有方案比較，但現(xiàn)有方案的檢測樣本要降權(quán)歸并到測試方案，再進行比較
切入流量的方案
回滾容災(zāi)方案
數(shù)據(jù)統(tǒng)計方案
線上全量切換方案
采集數(shù)據(jù)方案-待完善
如何采集數(shù)據(jù)，取決于測試的指標(biāo)所映射的元類型和依賴的載體。
元類型有：元素型，頁面型，流程型。
載體：H5、web、小程序、App、瀏覽器插件等。
切入流量
采用灰度發(fā)布的方式。
參與測試的用戶群體要隨機，不要選擇特定人群，要皆可代表全量用戶
參與測試的用戶要保證一定的活躍度，不然周期會拉長，結(jié)果很難收斂
測試期間，同一用戶僅使用同一方案，切忌中途切換方案（即用戶自選或者系統(tǒng)輪換）
測試時長，至少度過一到兩個產(chǎn)品使用周期，不要結(jié)果收斂，立即停止
RUN
回滾容災(zāi)方案，通過API或在后臺進行控制，可讓參與測試的方案回滾到線上正式版本。尤其是App，需要應(yīng)用市場審核，需要一定的時間。
方案執(zhí)行時機：
- 出現(xiàn)BUG或不兼容
- 用戶反饋極差
數(shù)據(jù)統(tǒng)計
數(shù)據(jù)統(tǒng)計，將多個渠道的數(shù)據(jù)，盡可能的保持同一緯度的進行運算對比。
根據(jù)對比結(jié)果，選出勝出方案。
統(tǒng)計的誤區(qū)：
當(dāng)數(shù)據(jù)表現(xiàn)不好時：從多維度進行分析，提防辛普森悖論導(dǎo)致結(jié)論與實際南轅北轍，從而錯過更好的方案。
當(dāng)數(shù)據(jù)表現(xiàn)好時：也有可能是頁面過于新奇、交互比較炫酷等其他正向的原因?qū)е掠脩敉Ａ魰r間，點擊率等，需要再拉長測試時間，當(dāng)用戶習(xí)慣該方案后，再次查看數(shù)據(jù)。
測試合并
將參與測試的幾種方案的產(chǎn)品，調(diào)節(jié)為勝出的方案，再看數(shù)據(jù)反饋。
正式發(fā)布
App:發(fā)布新的版本，將初始方案設(shè)定為測試中的勝出方案，若用戶整體反饋或數(shù)據(jù)出現(xiàn)大面積下滑，則回滾。
web：全量切入。
