ABtest一個(gè)總的目的和意圖是，判斷哪種種UI或rerank策略更優(yōu)，通過(guò)事實(shí)的依據(jù)（ CTR或下單率）判斷哪種策略更符合用戶的習(xí)慣和需求。
我們經(jīng)常會(huì)面臨多個(gè)設(shè)計(jì)方案的選擇，比如app或pc端某個(gè)界面的某個(gè)按鈕是用紅色還是用藍(lán)色，是放左邊還是放右邊。傳統(tǒng)的解決方法通常是集體討論表決，或者由某位專
家或領(lǐng)導(dǎo)或文青來(lái)拍板，實(shí)在決定不了時(shí)也有隨機(jī)選一個(gè)上線的。雖然傳統(tǒng)解決辦法多數(shù)情況下也是有效的，但A/B 測(cè)試（A/B Testing）可能是解決這類問(wèn)題的一個(gè)更好的方法。
所謂 A/B 測(cè)試，簡(jiǎn)單來(lái)說(shuō)，就是為同一個(gè)目標(biāo)制定兩個(gè)方案（比如兩個(gè)頁(yè)面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個(gè)方案更符合設(shè)計(jì)目標(biāo)。
下面看一個(gè)例子：
在展示“格林秀上午酒店”這個(gè)poi時(shí)有客戶端兩種UI：
方案A：如左圖，評(píng)分展示星狀圖片，消費(fèi)人數(shù)再右邊；?
方案B：如右圖，只展示評(píng)分分?jǐn)?shù)，后邊添加消費(fèi)人數(shù)；
我們很難知道那種方案比較好，那我們可以做個(gè)實(shí)驗(yàn)，把a(bǔ)和B方案同時(shí)放到線上的生產(chǎn)環(huán)境，讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用報(bào)表如下圖，通過(guò)大自然的優(yōu)勝劣汰法則，我們可以通過(guò)CTR或下單率等指標(biāo)看哪個(gè)方案更符合設(shè)計(jì)目標(biāo)。
A / B測(cè)試，即有兩個(gè)即將面對(duì)大眾的設(shè)計(jì)版本(A和B)。通過(guò)小范圍發(fā)布，得到并比較這兩個(gè)版本之間你所關(guān)心的數(shù)據(jù)(轉(zhuǎn)化率，業(yè)績(jī)，跳出率等)，最后選擇效果最好的版本。
對(duì)于互聯(lián)網(wǎng)產(chǎn)品來(lái)說(shuō)，通過(guò)A/B測(cè)試提升點(diǎn)擊轉(zhuǎn)化率，優(yōu)化獲客成本已得到越來(lái)越多的關(guān)注。以獲客環(huán)節(jié)為例：許多產(chǎn)品都會(huì)在百度、頭條等渠道投放落地頁(yè)廣告，以完成新用戶的注冊(cè)轉(zhuǎn)化，而落地頁(yè)效果的好壞，會(huì)直接影響轉(zhuǎn)化率和獲客成本。
以每月200萬(wàn)投放費(fèi)用為例，如果通過(guò)A/B測(cè)試將落地頁(yè)的注冊(cè)轉(zhuǎn)化率有效提升20%，相當(dāng)于每月能多獲得價(jià)值40萬(wàn)推廣成本的新用戶。
abtest實(shí)驗(yàn)可以分成兩種，客戶端client實(shí)驗(yàn)和服務(wù)端server實(shí)驗(yàn)，客戶端實(shí)驗(yàn)一般來(lái)說(shuō)只是UI上的實(shí)驗(yàn)，比如上面的例子，純粹是展示端的策略；而服務(wù)端的實(shí)驗(yàn)是返回給client數(shù)據(jù)的內(nèi)容做實(shí)驗(yàn)，比如推薦的策略，訂單列表rerank策略等。
運(yùn)行A / B測(cè)試實(shí)驗(yàn)的正確方法是遵循科學(xué)過(guò)程。它包括以下步驟：
> 研究您的網(wǎng)站數(shù)據(jù)：使用Google Analytics（分析）、百度分析等網(wǎng)站分析工具，并在轉(zhuǎn)化渠道中找到問(wèn)題。例如，您可以識(shí)別跳出率最高的頁(yè)面。假設(shè)您的主頁(yè)的跳出率非常高。
> 觀察用戶行為：利用訪客行為分析工具，如Heatmaps，Visitor Recordings，F(xiàn)orm Analysis和On-page Surveys，并查找阻止訪問(wèn)者轉(zhuǎn)換的內(nèi)容。例如，“CTA按鈕在主頁(yè)上不突出”。
> 構(gòu)建假設(shè)：根據(jù)訪問(wèn)者行為分析工具的見(jiàn)解，構(gòu)建旨在提高轉(zhuǎn)化率的假設(shè)。例如，“增加CTA按鈕的大小將使其更加突出，并將增加轉(zhuǎn)化?！?/p>
> 測(cè)試您的假設(shè)：根據(jù)您的假設(shè)創(chuàng)建一個(gè)變體，并且A / B對(duì)原始頁(yè)面進(jìn)行測(cè)試。例如，“A / B測(cè)試您的原始主頁(yè)針對(duì)具有較大CTA按鈕的版本”。根據(jù)每月訪客數(shù)量，當(dāng)前轉(zhuǎn)化率和轉(zhuǎn)化率的預(yù)期變化計(jì)算測(cè)試持續(xù)時(shí)間。（在這里使用我們的貝葉斯計(jì)算器）
> 分析測(cè)試數(shù)據(jù)和繪制結(jié)論：分析A / B測(cè)試結(jié)果，并查看哪些變化帶來(lái)了最高的轉(zhuǎn)化。如果變化中有明確的贏家，請(qǐng)繼續(xù)執(zhí)行。如果測(cè)試仍然不確定，請(qǐng)返回到第三步并重新設(shè)計(jì)您的假設(shè)。
> 向所有相關(guān)方報(bào)告結(jié)果：讓營(yíng)銷，IT和UI / UX中的其他人了解測(cè)試結(jié)果和生成的見(jiàn)解。
