一.開篇詞
1.A/B測(cè)試是促進(jìn)業(yè)務(wù)持續(xù)增長(zhǎng)的最實(shí)用、最有效的方式
2.只有在決策流程中加入A/B測(cè)試這個(gè)環(huán)節(jié),根據(jù)值得信賴的測(cè)試結(jié)果,而不是所謂的經(jīng)驗(yàn)來做業(yè)務(wù)和產(chǎn)品決策時(shí),才是真正的數(shù)據(jù)驅(qū)動(dòng)決策
3.控制變量實(shí)驗(yàn)中實(shí)驗(yàn)組和對(duì)照組只能有一個(gè)因素不同
二.統(tǒng)計(jì)基礎(chǔ)
1.不管隨機(jī)變量的概率分布是什么,只要取樣時(shí)的樣本量足夠大,那么這些樣本的平均值的分布就會(huì)趨近于正態(tài)分布
2.對(duì)于A/B測(cè)試來說,要選用雙尾、雙樣本的比例檢驗(yàn)(概率類指標(biāo))或T檢驗(yàn)(均值類指標(biāo))
三.確定目標(biāo)和假設(shè)
1.目標(biāo)和假設(shè)確定三步:a.分析問題,確定目標(biāo) b.確定大致的解決方案 c.確定假設(shè)
2.確定指標(biāo):確定評(píng)價(jià)指標(biāo),指標(biāo)確定假設(shè)是否成立,指標(biāo)要全面,要考慮指標(biāo)波動(dòng)范圍,不能簡(jiǎn)單依靠單點(diǎn)比較
四.實(shí)驗(yàn)單位
用戶id,頁面流量訪問,頁面本身
選擇依據(jù):
用戶體驗(yàn)連貫,實(shí)驗(yàn)單位與評(píng)價(jià)指標(biāo)單位一致,樣本足夠多
五.樣本量選擇

image.png