背景 為了加速實(shí)驗(yàn)迭代，需要兼顧：速度、質(zhì)量、風(fēng)險(xiǎn)，Linkin提出了SQR框架：SQR: Balancing Speed, Qality and Risk in Onlin...
發(fā)簡(jiǎn)信
IP屬地：河南
-
SQR——LinkedIn平衡實(shí)驗(yàn)速度、質(zhì)量和風(fēng)險(xiǎn)的框架 -
因果推斷——準(zhǔn)實(shí)驗(yàn)法評(píng)估App新版本整體效果背景 做A/B實(shí)驗(yàn)相關(guān)工作中遇到一些問(wèn)題，其中之一就是如何判斷新版本對(duì)用戶影響，以前的做法：1.所有新功能都預(yù)埋開(kāi)關(guān)(默認(rèn)關(guān))，對(duì)新版本用戶隨機(jī)分桶后對(duì)實(shí)驗(yàn)組開(kāi)啟，用標(biāo)準(zhǔn)A/...
-
SPRT可控制兩種錯(cuò)誤的證明之前知道SPRT是什么和怎么用，但是不知道怎么證明它是對(duì)的，最近搞懂了記錄一下。 1. SPRT簡(jiǎn)介 SPRT是在二戰(zhàn)中由Wald發(fā)明的，最初用于檢驗(yàn)炮彈質(zhì)量。 如果X1, ...
-
雙樣本經(jīng)驗(yàn)貝葉斯檢驗(yàn)
本文是對(duì)《Objective Bayesian Two Sample Hypothesis Testing forOnline Controlled Experiments》...
-
A/B實(shí)驗(yàn)設(shè)計(jì)——如何避免多重檢驗(yàn)錯(cuò)誤本文介紹A/B實(shí)驗(yàn)中一個(gè)常見(jiàn)的錯(cuò)誤——多重檢驗(yàn)錯(cuò)誤，它經(jīng)常影響實(shí)驗(yàn)得到錯(cuò)誤的結(jié)論。相關(guān)數(shù)學(xué)推導(dǎo)放在文末，跳過(guò)不影響理解。 錯(cuò)誤案例 讓我們從先看一個(gè)例子：軟糖會(huì)導(dǎo)致粉刺么？ ...
-
多重檢驗(yàn)——FWER,FDR,FCR
在A/B實(shí)驗(yàn)設(shè)計(jì)——如何避免多重檢驗(yàn)錯(cuò)誤[http://www.itdecent.cn/p/2d30efc37b8b]中，介紹了什么是多重檢驗(yàn)，并且介紹了Bonferron...
-
A/B實(shí)驗(yàn)進(jìn)階——通過(guò)實(shí)驗(yàn)前數(shù)據(jù)減小方差（CUPED）CUPED（Controlled-experiment Using Pre-Experiment Data）[https://exp-platform.com/Documen...
-
ab實(shí)驗(yàn)與Delta方法
背景 互聯(lián)網(wǎng)實(shí)驗(yàn)一般使用基于正態(tài)分布模型的檢驗(yàn)方法，但是在ab實(shí)驗(yàn)中我們可能遇到這樣的情況：1.實(shí)驗(yàn)結(jié)果分析，實(shí)驗(yàn)組均值比對(duì)照組均值提升了10%，相對(duì)提升的置信區(qū)間是多少呢？...