以下內(nèi)容重在描述解決的問題、大概思路和可能收益,詳細(xì)數(shù)學(xué)和細(xì)節(jié)參考引用論文。 1. 背景 AB實驗來自于來自科學(xué)又夾雜著玄學(xué),下面是其中最常見的兩個玄學(xué)。 1.1. 發(fā)布決策...
以下內(nèi)容重在描述解決的問題、大概思路和可能收益,詳細(xì)數(shù)學(xué)和細(xì)節(jié)參考引用論文。 1. 背景 AB實驗來自于來自科學(xué)又夾雜著玄學(xué),下面是其中最常見的兩個玄學(xué)。 1.1. 發(fā)布決策...
@fc2df0c89648 只是個人學(xué)習(xí)筆記,寫的不好??梢匀タ丛?
2 大規(guī)模假設(shè)檢驗2.1 貫穿本章的例子 一份用于研究前列腺癌與基因關(guān)系的數(shù)據(jù):102個人中50個正常,52個是癌癥患者,統(tǒng)計每個人的6033個前列腺相關(guān)基因。數(shù)據(jù)用維的矩陣表示:則基因i的雙...
(不知道怎么翻譯標(biāo)題好了……)在經(jīng)典的假設(shè)檢驗中,零假設(shè)的分布是魔鬼的代言人:觀察值必須超過的標(biāo)準(zhǔn),以使科學(xué)界相信發(fā)生了一些有趣的事情(比如在零假設(shè)分布中超過1.96的中心距...
經(jīng)典單case假設(shè)檢驗基于對統(tǒng)計量(p值)尾部的解釋。二戰(zhàn)后,多重檢驗繼續(xù)基于p值,并擴展到大規(guī)模假設(shè)檢驗,前面3和4章進行了介紹。然而即使控制了錯誤發(fā)現(xiàn)率,仍然與顯著性檢驗...
4.1 正確與錯誤的發(fā)現(xiàn) 假設(shè)我們有一種決策方式,它對個假設(shè)決策如下: 則FWER為a大于0的概率,而 被稱為錯誤發(fā)現(xiàn)比率(false discovery proportio...
2.1 貫穿本章的例子 一份用于研究前列腺癌與基因關(guān)系的數(shù)據(jù):102個人中50個正常,52個是癌癥患者,統(tǒng)計每個人的6033個前列腺相關(guān)基因。數(shù)據(jù)用維的矩陣表示:則基因i的雙...
最近接觸Efron大神的經(jīng)驗貝葉斯相關(guān)內(nèi)容,大受震撼!準(zhǔn)備把Large-Scale Inference一書認(rèn)真學(xué)習(xí)一遍,特此記錄。 1.1 貝葉斯規(guī)則和多元正態(tài)分布的估計 1...
之前知道SPRT是什么和怎么用,但是不知道怎么證明它是對的,最近搞懂了記錄一下。 1. SPRT簡介 SPRT是在二戰(zhàn)中由Wald發(fā)明的,最初用于檢驗炮彈質(zhì)量。 如果X1, ...
背景 為了加速實驗迭代,需要兼顧:速度、質(zhì)量、風(fēng)險,Linkin提出了SQR框架:SQR: Balancing Speed, Qality and Risk in Onlin...
背景 多臂老虎機是一個在探索(exploration)和開發(fā)(exploitation)過程中尋找最高收益的問題。此類“實驗”能力幾乎已經(jīng)成為了優(yōu)秀實驗平臺的標(biāo)配。本篇是閱讀...
為了選擇效果最好的方案,在進行A/B實驗中,經(jīng)常會同時設(shè)置多個實驗組,并且分別與對照組比較。這樣做會有兩個問題:1. 多重比較問題;2. 衡量效果時存在選擇性偏差。為了解決這...
背景 做A/B實驗相關(guān)工作中遇到一些問題,其中之一就是如何判斷新版本對用戶影響,以前的做法:1.所有新功能都預(yù)埋開關(guān)(默認(rèn)關(guān)),對新版本用戶隨機分桶后對實驗組開啟,用標(biāo)準(zhǔn)A/...
本文是對《Objective Bayesian Two Sample Hypothesis Testing forOnline Controlled Experiments》...
背景 進行一項某項藥物臨床實驗時,實驗關(guān)注的是藥物的正面效果,但是藥物也可能會有嚴(yán)重的副作用,如何進行監(jiān)控呢?衡量藥物是否有效通過假設(shè)檢驗來判斷,同理容易想到也可以通過假設(shè)檢...
背景 互聯(lián)網(wǎng)實驗一般使用基于正態(tài)分布模型的檢驗方法,但是在ab實驗中我們可能遇到這樣的情況:1.實驗結(jié)果分析,實驗組均值比對照組均值提升了10%,相對提升的置信區(qū)間是多少呢?...