產(chǎn)品或者設(shè)計(jì)師在做設(shè)計(jì)方案時，會有一套方法論來制作多個方案，經(jīng)過評審之后一般都會得出一個平衡了用戶體驗(yàn)和業(yè)務(wù)目標(biāo)的方案。但往往也存在一種情況：A方案和B方案各有優(yōu)劣，實(shí)在無法主觀判斷兩個方案上線之后數(shù)據(jù)如何。如果AB方案的實(shí)現(xiàn)成本不是很高，就可以使用AB Testing來解決。依據(jù)上線之后的數(shù)據(jù)表現(xiàn)，最終上線數(shù)據(jù)更好的方案。
1. 原理
數(shù)理統(tǒng)計(jì)學(xué)中有一個概念叫“假設(shè)檢驗(yàn)(Hypothesis Testing）”，其基本的原理是對整體特征做出某種假設(shè)，然后通過抽樣研究的統(tǒng)計(jì)推理，對此假設(shè)應(yīng)該被拒絕還是接受作出推斷。
在假設(shè)檢驗(yàn)中，存在原假設(shè)和備擇假設(shè)，以下圖為例。
原假設(shè)指改變按鈕樣式會帶來轉(zhuǎn)化率的提升，備擇假設(shè)是改變按鈕樣式不會帶來轉(zhuǎn)化率的提升。
原假設(shè)和備擇假設(shè)有且只能有一個為真。
2. 背景
Google是最早將AB Testing應(yīng)用到互聯(lián)網(wǎng)產(chǎn)品的公司，谷歌工程師在2000年進(jìn)行了他們的第一次AB測試，試圖確定在搜索引擎結(jié)果頁面上顯示的最佳結(jié)果數(shù)量。后來AB測試不斷發(fā)展，但基礎(chǔ)和基本原則通常保持不變，2011年，谷歌首次測試后11年，谷歌進(jìn)行了7,000多次不同的AB測試。
目前像Facebook、LinkedIn等公司都有專門的增長團(tuán)隊(duì)來做AB Testing的實(shí)驗(yàn)（增長團(tuán)隊(duì)的核心就是不斷的進(jìn)行AB Testing來提升產(chǎn)品數(shù)據(jù)），并且團(tuán)隊(duì)負(fù)責(zé)人直接向CEO匯報(bào)，最近兩年國內(nèi)不少公司也越來越重視數(shù)據(jù)增長。
3. AB Testing越來越被重視的原因
為什么數(shù)據(jù)增長會在互聯(lián)網(wǎng)行業(yè)興起，我認(rèn)為有兩點(diǎn)原因，一是互聯(lián)網(wǎng)產(chǎn)品的表現(xiàn)形式趨于成熟，目前市場上主流的智能手機(jī)操作系統(tǒng)只有iOS和Android，它們在交互和視覺層面越來越規(guī)范和統(tǒng)一；二是互聯(lián)網(wǎng)產(chǎn)品設(shè)計(jì)的方法論逐漸成熟，互聯(lián)網(wǎng)公司產(chǎn)品設(shè)計(jì)流程的分工已經(jīng)很細(xì)，產(chǎn)品經(jīng)理、交互設(shè)計(jì)師、視覺設(shè)計(jì)師，而且每個崗位都有成熟的方法論。由于這兩點(diǎn)原因，導(dǎo)致大家做出來的東西在用戶體驗(yàn)層面已經(jīng)拉不開很大的差距，這時候如何在同質(zhì)化產(chǎn)品中脫穎而出變得更加困難，其中通過科學(xué)的方法，采用認(rèn)知心理學(xué)和統(tǒng)計(jì)學(xué)相關(guān)知識的AB Testing展現(xiàn)了它的威力，并為互聯(lián)網(wǎng)產(chǎn)品的數(shù)據(jù)增長帶來了新的動力。
4. 具體方法論：如何做實(shí)驗(yàn)？
①提出想法，設(shè)定假設(shè)
得出假設(shè)的方法有很多，包括福格模型、頭腦風(fēng)暴、經(jīng)驗(yàn)總結(jié)、行業(yè)借鑒、公司不同部門人員提出建議、用戶調(diào)研、數(shù)據(jù)分析。方法有很多，以后我們會詳細(xì)介紹。
②預(yù)估成本/設(shè)定優(yōu)先級
有些實(shí)驗(yàn)方案不僅涉及設(shè)計(jì)和開發(fā)成本，還需要額外的資金成本，像增加現(xiàn)金或優(yōu)惠券獎勵來提升轉(zhuǎn)化率的實(shí)驗(yàn)，這個時候需要對該類實(shí)驗(yàn)經(jīng)濟(jì)成本預(yù)估，并且結(jié)合ICE模型來設(shè)定優(yōu)先級，決定哪個實(shí)驗(yàn)先做，哪個實(shí)驗(yàn)后做。
ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每項(xiàng)滿分為十分，ICE總分為三項(xiàng)的平均分，ICE分值越高，對應(yīng)的優(yōu)先級也越高。
③設(shè)計(jì)方案
決定了哪些實(shí)驗(yàn)先做，哪些后做，接下來就要開始進(jìn)入方案的設(shè)計(jì)階段了，有些簡單的實(shí)驗(yàn)可能不需要經(jīng)過設(shè)計(jì)階段，可以直接開發(fā)上線。
主要跟交互設(shè)計(jì)師，根據(jù)第一步提出的假設(shè)，提出多種方案，最后選擇一到兩個方案進(jìn)行AB testing。
著名的資訊公司Upworthy會對每篇即將上線的文章討論出25個標(biāo)題，最終選擇2個標(biāo)題進(jìn)行A B testing。
④確定實(shí)驗(yàn)人數(shù)和周期
關(guān)于計(jì)算實(shí)驗(yàn)人數(shù)和周期，有很多工具網(wǎng)站可以使用，例如Evanmiller網(wǎng)站。打開這個網(wǎng)站，你會發(fā)現(xiàn)有四個字段需要輸入，一個是Baseline conversion rate，指原有的轉(zhuǎn)化率，二是Minimum Detectable Effect，指預(yù)計(jì)會提升的百分比，另外兩個是β和α值，你只要記住設(shè)定這兩個值是為了保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。一般β值會設(shè)定在5%/10%，α值會取1%~10%之間。
⑤安排開發(fā)與測試
這個大家太熟悉了，就不多說。
⑥分析實(shí)驗(yàn)結(jié)果
在分析實(shí)驗(yàn)結(jié)果的時候要特別注意兩點(diǎn)，一要排除其他因素導(dǎo)致的數(shù)據(jù)變動，例如你的產(chǎn)品是受季節(jié)影響的話，實(shí)驗(yàn)得出的數(shù)據(jù)要扣除季節(jié)對數(shù)據(jù)產(chǎn)生的影響；二是確保關(guān)聯(lián)數(shù)據(jù)也有相應(yīng)增長，例如你的實(shí)驗(yàn)是要提升活動詳情頁到支付頁的轉(zhuǎn)化率，實(shí)驗(yàn)結(jié)果顯示，轉(zhuǎn)化率從之前的5%提升到了6%，這相當(dāng)于增長了20%，但是別高興太早，你要看看這增加的20%的用戶，有沒有成功進(jìn)入下一步，也就是支付成功，很有可能本次實(shí)驗(yàn)只是把用戶從活動詳情頁吸引到了支付頁，但是吸引來的用戶并沒有去真正下單。
⑦擴(kuò)大實(shí)驗(yàn)或失敗
分析完實(shí)驗(yàn)結(jié)果后，如果判定實(shí)驗(yàn)成功，接下來就擴(kuò)大實(shí)驗(yàn)范圍，把本次改進(jìn)覆蓋所有用戶；如果實(shí)驗(yàn)失敗，也不要灰心，畢竟AB Testing的成功率并不是很高，大膽的接受實(shí)驗(yàn)失敗，并開始下一個實(shí)驗(yàn)吧。
5. 注意事項(xiàng)
①確保實(shí)驗(yàn)的變量唯一；
②確保試驗(yàn)周期不能過長，一般控制在2到3周，最好不要超過一個月；
③確保α和β值在合理的區(qū)間內(nèi)，保證實(shí)驗(yàn)的準(zhǔn)確性；
④分析實(shí)驗(yàn)結(jié)果時，記得排除其他因素在實(shí)驗(yàn)中的影響。
