1 什么是A/B測試？

A/B測試是一種流行的網(wǎng)頁優(yōu)化方法，可以用于增加轉(zhuǎn)化率注冊率等網(wǎng)頁指標(biāo)。簡單來說，就是為同一個目標(biāo)制定兩個方案（比如兩個頁面），將產(chǎn)品的用戶流量分割成 A/B 兩組，一組試驗組，一組對照組，兩組用戶特點類似，并且同時運行。試驗運行一段時間后分別統(tǒng)計兩組用戶的表現(xiàn)，再將數(shù)據(jù)結(jié)果進(jìn)行對比，就可以科學(xué)的幫助決策。比如在這個例子里，50%用戶看到 A 版本頁面，50%用戶看到 B 版本頁面，結(jié)果 A 版本用戶轉(zhuǎn)化率 23%，高于 B 版本的 11%，在試驗流量足夠大的情況下，我們就可以判定 A 版本勝出，然后將 A 版本頁面推送給所有的用戶。

AB測試本質(zhì)上是個分離式組間實驗，以前進(jìn)行AB測試的技術(shù)成本和資源成本相對較高，但現(xiàn)在一系列專業(yè)的可視化實驗工具的出現(xiàn)，AB測試已越來越成為網(wǎng)站優(yōu)化常用的方法。

A/B測試其實是一種“先驗”的實驗體系，屬于預(yù)測型結(jié)論，與“后驗”的歸納性結(jié)論差別巨大。A/B測試的目的在于通過科學(xué)的實驗設(shè)計、采樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的實驗結(jié)論，并確信該結(jié)論在推廣到全部流量可信。

測試的應(yīng)用范圍，——必須是單變量。

2 什么情況不適合做 A/B 測試？

有時多個設(shè)計稿可能會有非常大的差異，這樣的情況一般不太適合做 A/B 測試，因為它們的變量太多了，變量之間會有較多的干擾，很難通過 A/B 測試的方法來找出各個變量對結(jié)果的影響程度。

另外，雖然 A/B 測試名字中只包含 A、B ，但并不是說它只能用于比較兩個方案的好壞，事實上，你完全可以設(shè)計多個方案進(jìn)行測試，“A/B 測試”這個名字只是一個習(xí)慣的叫法。

回到網(wǎng)站設(shè)計，一般來說，每個設(shè)計方案應(yīng)該大體上是相同的，只是某一個地方有所不同，比如某處排版、文案、圖片、顏色等。然后對不同的用戶展示不同的方案。

要注意，不同的用戶在他的一次瀏覽過程中，看到的應(yīng)該一直是同一個方案。比如他一開始看到的是 A 方案，則在此次會話中應(yīng)該一直向他展示 A 方案，而不能一會兒讓他看 A 方案，一會兒讓他看 B 方案。同時，還需要注意控制訪問各個版本的人數(shù)，大多數(shù)情況下我們會希望將訪問者平均分配到各個不同的版本上。要做到這些很簡單，根據(jù) cookie （比如 cookie 會話ID的最后一位數(shù)字）決定展示哪個版本就是一個不錯的方法。

下面是 A/B 測試示意圖：

可以看到，要實現(xiàn) A/B 測試，我們需要做以下幾個工作：

1、開發(fā)兩個（或多個）不同的版本并部署；

2、收集數(shù)據(jù)；

3、分析數(shù)據(jù)，得出結(jié)果。

3 什么階段的公司適合做AB測試？

AB測試你自己做是要花很大的人力、物力，大公司有很大的用戶，做AB測試的話，是可以持續(xù)投入的，每個投入的提升增長價值也很大，是公司中最為重要的。

很多中小型的公司具備條件，但不一定有經(jīng)驗或能力執(zhí)行和分析，不過現(xiàn)在也有些第三方服務(wù)公司提供了工具，方便做AB測試，降低了門檻，比如吆喝科技（http://www.appadhoc.com）在這方面做得非常好。

初創(chuàng)公司，在產(chǎn)品還沒驗證的時候，或者用戶量非常小的時候，不適合做AB測試。

4 如何利用A/B測試做增長？

AB 測試是撬動理性增長的最重要工具之一。AB測試背后的理念是在于用數(shù)據(jù)來幫助你做決策，來幫助你做更好的決策，很多東西就不再是靠藝術(shù)創(chuàng)造、靠想象、靠拍腦袋來做，而是靠數(shù)據(jù)，像你寫代碼、做分析的時候那樣一種很理性的模式。

如果沒有 AB 測試，如果公司盲目地前行，會造成很大的損失。

在 Facebook 強行規(guī)定，發(fā)布任何一個很大功能的時候，開始要先計劃，同時要做一個預(yù)期，計劃就是你這個功能發(fā)布之后，大概周期是多久，你的預(yù)期就是對用戶的數(shù)據(jù)大概有怎樣的影響，一般來說是用戶的活躍度上漲，或者是用戶的數(shù)量上漲，但是可能有其他的影響。比如說用戶的在線時長會下降一點點，因為你更加有效了，或者是對用戶的耗電量會有影響，以及它流量的損耗。

5 A/B測試的數(shù)據(jù)結(jié)果出來后，應(yīng)該怎么樣選擇？

從數(shù)據(jù)結(jié)果分析客觀的效果，但往往也需要根據(jù)用戶體驗和總收益做一個折衷。

《增長黑客》作者范冰講過一個百姓網(wǎng)的案例。百姓網(wǎng)之前有段時間銷售員和產(chǎn)品經(jīng)理撕逼，銷售人員是覺得為了獲得更多銷售額，我們必須是用戶給錢越多，我們給他越大的特權(quán)。

百姓網(wǎng)A/B測試

他們想像左圖這樣，用戶在我這個平臺上發(fā)布的小帖子以后，誰給的錢多，給得最多的我給你置頂，同時又給你一個廣告位，就是紅色標(biāo)量，其他的給錢沒那么多的，在相對置頂比較高的位置。就是你越給錢，我越給你一些標(biāo)簽把你位置提得越高，這是銷售人員的思維；

產(chǎn)品經(jīng)理的思維是右邊這種，雖然你給了錢，你是我們的金主，你很重要，但是我要重視我們的產(chǎn)品體驗，如果說你給錢我就讓你上去的話，其實這上面滿眼看得都是廣告，而且誰給錢誰就上，那就有點像百度了，像現(xiàn)在這個樣子他們就提出我們的產(chǎn)品在右邊，不管你給了多少錢，我最多就給你個高亮，所以你的位置我不給你提前。

當(dāng)時為了這個原因，雙方激烈的撕逼。撕逼一般是沒有結(jié)果的，因為公說公有理，婆說婆有理，后來他們想到組織一次 AB 測試，下發(fā)了兩波用戶，看這兩波用戶各自呈現(xiàn)兩種不同的頁面，哪波用戶最后轉(zhuǎn)化率高，帶來的收入高，還有其他一些指標(biāo)的綜合判斷。

結(jié)果是怎樣的？

大家從直覺判斷，一定覺得產(chǎn)品經(jīng)理的決定是對的，最后一定是用了產(chǎn)品經(jīng)理的方案。

測試結(jié)果，右邊產(chǎn)品經(jīng)理方案是好的，他的數(shù)據(jù)更高，但是最后用了左邊的方案。為什么？因為測試結(jié)果反饋顯示，這兩個方案雖然右邊更好，但是他這個好的方案只是精確到小數(shù)點后面的千分位，只是比前一種方案好了那么一點，雖然是好了那么一點，但是左邊的方案更吸金，左邊的能吸引到大家更多的往里投錢，更多的花錢，既然是只好了這么一點點，當(dāng)然要用左邊的。于是經(jīng)過測試以后，他們最后用了左邊的方案，這是大家沒有想到的結(jié)果。

因為 AB 測試固然重要，AB 測試的結(jié)果的確右邊好，但是有的時候要結(jié)合實際，如果說差別不是很大的話，你可能要選一種賺錢更多的方式，這是 AB 測試一個很大的價值，大家不要偏信數(shù)據(jù)，不要被數(shù)據(jù)給完全左右，有的時候結(jié)合一些你的理性的思考。

6?AB測試的具體實施流程是什么樣的呢？

其實非常簡單，可能在座的大家都有一定地印象，比如說你有一個網(wǎng)頁，就是你用戶流量的頁面，你用上面的綠色作為一個代表，如果你現(xiàn)在的頁面只有23%的轉(zhuǎn)化率，你希望通過某種黑客方式，把它調(diào)一調(diào)，改一改，改成藍(lán)色的頁面，希望能夠提升它的轉(zhuǎn)化率。

那么可以用AB測試怎么做呢？就讓來訪流量的訪客，一半或者一部分的訪客看到綠色的老版本，一部分的訪客看到藍(lán)色的新版本，這些用戶自己是無感知的，他們并不知道自己是被分配在實驗里面，他們依然按照自己的行為去操作，他們會買東西，會退出或者怎么樣，然后你看他的轉(zhuǎn)化率，有沒有發(fā)生變化，假如我們看到一個很糟糕的現(xiàn)象，這個藍(lán)色的版本，它的轉(zhuǎn)化率反而降低了只有11%了，結(jié)果你的老版本還勝出的，就說明你改進(jìn)的方案不成功，于是你會想其 他的方案再去改，總會找到能夠提升轉(zhuǎn)化率的方法。

7 有哪些AB測試需要注意的經(jīng)驗或規(guī)則？

1.效果驚人，一些很微小的改動，它就可能造成對你KPI巨大的影響。

2.大多數(shù)改動都不會帶來大幅度提高KPI，所以你需要耐心。

3.?Twyman法則，他是凡是看上去很出人意料的圖表，通常都是因為數(shù)據(jù)統(tǒng)計錯了。

4.各個產(chǎn)品幾乎都不一樣，你復(fù)制他人的經(jīng)驗，往往都沒有什么效果。

5.任何能加速用戶響應(yīng)時間的改動，都會帶來KPI的正向提升。

6.點擊率是很容易提高的，但是流失率是很難改進(jìn)的，千萬不要把精力放在優(yōu)化某個頁面點擊率上。

7.盡量不要做很復(fù)雜的大量改動的實驗，而是要做很簡單的小的迭代。

8 A/B測試的應(yīng)用場景有哪些？

A/B測試這種方法論的應(yīng)用非常廣泛，包括在Web產(chǎn)品、移動產(chǎn)品、數(shù)字廣告優(yōu)化領(lǐng)域的應(yīng)用。

應(yīng)用場景由小到大可以可以分為：

元素/控件層面

功能層面

產(chǎn)品層面

公司層面