即使經(jīng)常進(jìn)行A/B測試的公司也常見此種情況：一年里一個(gè)接一個(gè)地運(yùn)行測試，在測試后將勝出者推出。但一年后再看，轉(zhuǎn)化率竟然與最初版本差不多！這種打臉的情況總是發(fā)生。

為什么？要么是測試結(jié)束得太早，要么是樣本量太小，或者兼而有之。我曾在一篇博文里詳細(xì)作了解釋，在宣布測試完成之前，你需要滿足3個(gè)指標(biāo)：

1、有足夠的樣本量：實(shí)驗(yàn)有足夠的人參與，以便有足夠的數(shù)據(jù)來獲得科學(xué)的結(jié)論。需要使用A/B測試樣本量計(jì)算器預(yù)先計(jì)算所需樣本量。

2、測試需要運(yùn)行多個(gè)銷售周期，2到4周左右。如果你只做了幾天就停止測試（即使達(dá)到了所需的樣本量），也只是取了便利樣本，而不是有代表性的樣本。

3、顯著性達(dá)到95%（P≤ 0.05）或以上。注意：記住P值并不能告訴我們方案B比方案A好，這一點(diǎn)非常重要。