背景 為了加速實(shí)驗(yàn)迭代,需要兼顧:速度、質(zhì)量、風(fēng)險(xiǎn),Linkin提出了SQR框架:SQR: Balancing Speed, Qality and Risk in Onlin...
背景 為了加速實(shí)驗(yàn)迭代,需要兼顧:速度、質(zhì)量、風(fēng)險(xiǎn),Linkin提出了SQR框架:SQR: Balancing Speed, Qality and Risk in Onlin...
背景 做A/B實(shí)驗(yàn)相關(guān)工作中遇到一些問(wèn)題,其中之一就是如何判斷新版本對(duì)用戶影響,以前的做法:1.所有新功能都預(yù)埋開(kāi)關(guān)(默認(rèn)關(guān)),對(duì)新版本用戶隨機(jī)分桶后對(duì)實(shí)驗(yàn)組開(kāi)啟,用標(biāo)準(zhǔn)A/...
之前知道SPRT是什么和怎么用,但是不知道怎么證明它是對(duì)的,最近搞懂了記錄一下。 1. SPRT簡(jiǎn)介 SPRT是在二戰(zhàn)中由Wald發(fā)明的,最初用于檢驗(yàn)炮彈質(zhì)量。 如果X1, ...
本文是對(duì)《Objective Bayesian Two Sample Hypothesis Testing forOnline Controlled Experiments》...
本文介紹A/B實(shí)驗(yàn)中一個(gè)常見(jiàn)的錯(cuò)誤——多重檢驗(yàn)錯(cuò)誤,它經(jīng)常影響實(shí)驗(yàn)得到錯(cuò)誤的結(jié)論。相關(guān)數(shù)學(xué)推導(dǎo)放在文末,跳過(guò)不影響理解。 錯(cuò)誤案例 讓我們從先看一個(gè)例子:軟糖會(huì)導(dǎo)致粉刺么? ...
在A/B實(shí)驗(yàn)設(shè)計(jì)——如何避免多重檢驗(yàn)錯(cuò)誤[http://www.itdecent.cn/p/2d30efc37b8b]中,介紹了什么是多重檢驗(yàn),并且介紹了Bonferron...
CUPED(Controlled-experiment Using Pre-Experiment Data)[https://exp-platform.com/Documen...
背景 互聯(lián)網(wǎng)實(shí)驗(yàn)一般使用基于正態(tài)分布模型的檢驗(yàn)方法,但是在ab實(shí)驗(yàn)中我們可能遇到這樣的情況:1.實(shí)驗(yàn)結(jié)果分析,實(shí)驗(yàn)組均值比對(duì)照組均值提升了10%,相對(duì)提升的置信區(qū)間是多少呢?...