SQR——LinkedIn平衡實(shí)驗(yàn)速度、質(zhì)量和風(fēng)險(xiǎn)的框架

背景

為了加速實(shí)驗(yàn)迭代，需要兼顧：速度、質(zhì)量、風(fēng)險(xiǎn)，Linkin提出了SQR框架：SQR: Balancing Speed, Qality and Risk in Online Experiments。

1. SQR FRAMEWORK

1.1. 關(guān)于實(shí)驗(yàn)放量的三個(gè)誤區(qū)

誤區(qū)#1：讓實(shí)驗(yàn)一直跑直到顯著

  • 多重檢驗(yàn)導(dǎo)致的假陽性問題；

  • 樣本量隨時(shí)間增加速度越來越慢。


誤區(qū)#2: 小流量實(shí)驗(yàn)的消耗很低

長期的小流量實(shí)驗(yàn)消耗很大：

  • 機(jī)會(huì)消耗
    讓創(chuàng)新變少變慢
  • 平臺(tái)消耗
    運(yùn)行實(shí)驗(yàn)數(shù)更多
  • 商業(yè)消耗
    命中用戶長期處于較差體驗(yàn)導(dǎo)致流失

誤區(qū)#3：10%流量就夠了

許多實(shí)驗(yàn)都是面向用戶子集，而且付費(fèi)相關(guān)的指標(biāo)需要更大量的用戶

2.2. SQR原則

做實(shí)驗(yàn)的原因：定量測量、減少風(fēng)險(xiǎn)、學(xué)習(xí)用戶

Maximun Power Ramp(MPR)：最大power的放量

原則#1：風(fēng)險(xiǎn)可接受，盡快放量到MPR

風(fēng)險(xiǎn)影響因素：

  1. 先驗(yàn)信念
  2. 采樣數(shù)據(jù)結(jié)果
  3. 轉(zhuǎn)換率：實(shí)驗(yàn)影響的用戶比率

原則#2：MPR階段等待足夠的時(shí)間

至少一周，存在burn-in效果時(shí)更久

原則#3：post-MPR階段盡快結(jié)束

原則#4：僅在研究目標(biāo)明確下才進(jìn)行長期觀察實(shí)驗(yàn)

2.放量推薦器

負(fù)責(zé)兩項(xiàng)任務(wù)：1.指引ramps進(jìn)入MPR階段；2.發(fā)出加速M(fèi)PR的信號。

2.1. MPR前放量

在風(fēng)險(xiǎn)可承受之內(nèi)，盡快放量到MPR階段。

2.1.1. 風(fēng)險(xiǎn)和可承受風(fēng)險(xiǎn)

將流量放至q的風(fēng)險(xiǎn)為(其實(shí)就是treatment對大盤影響的估計(jì))：
R(q) = |\delta| * g(r) * h(q)
其中：
\delta = \frac{treatment mean - control mean}{control mean}
是影響效果，
g(r) = \begin{cases} & r, r >= r_0 \\ & r_0, r < r_0 \end{cases}
是左截?cái)嗟挠|發(fā)率，
h(r) = \begin{cases} & q, q >= q_0 \\ & q_0, q < q_0 \end{cases}
是左截?cái)嗟姆帕勘取?/p>

如果滿足：
R(q) <= \tau
就認(rèn)為風(fēng)險(xiǎn)是可承受的。
關(guān)于\tau的選擇，不同指標(biāo)選擇不同（todo）

2.1.2. 假設(shè)檢驗(yàn)

Q = \{q_1, q_2, ...\}為可能的放量比，在linkedIn一般{1%, 5%, 10%, 25%, 50%}。

假設(shè)模板：
H_0^q : R(q) <= \tau \\ H_0^q : R(q) > \tau

2.1.3. 貫序檢驗(yàn)

使用Generalized Sequential Probability Ratio Test (GSPRT)，任意時(shí)刻t的檢驗(yàn)統(tǒng)計(jì)量：
L_t(H_k^q) = \frac{\sup_{H^q_k}\pi_kf_{k}^{t}(X^t)}{\sum_{j=0}^1\sup_{H^q_j}\pi_jf_{j}^{t}(X^t)}, k=0,1
其中f_{k}^{t}是似然函數(shù)，X^t = (X^t_1,X^t_2,...)是t時(shí)刻用戶級別的指標(biāo)值，\pi_k是H_k的先驗(yàn)概率。

在GSPRT下，H^q_k被接受的條件為：
L_t(H^q_k) > \frac{1}{1 + A_k}
由于后驗(yàn)概率L_t(H^q_0) + L_t(H^q_1) = 1，所以要選擇0 < A_k < 1以保證最多有一個(gè)假設(shè)被接受。

基于大數(shù)定理和終極極限定理，組間均值差\Delta的分布近似正態(tài)，方程轉(zhuǎn)化為（此處方法用的是貝葉斯）：
L_t(H_k^q) = \frac{\sup_{H^q_k}\pi_kexp(-\frac{(\Delta - \delta)^2}{2s^2})}{\sum_{j=0}^1\sup_{H^q_j}\pi_jexp(-\frac{(\Delta - \delta)^2}{2s^2})}
其中s^2是\Delta的方差，\delta來自假設(shè)模板。

H_0對應(yīng)的A_0越高，越容易接受原假設(shè)，產(chǎn)生二類錯(cuò)誤；
H_1對應(yīng)的A_1越高，越容易拒絕原假設(shè)，產(chǎn)生一類錯(cuò)誤。

linkedIn的選擇：A_0 = 0.2, A_1 = 0.1。

最終流程：
1). 如果任意環(huán)節(jié)q，L_t(H^q_1) > \frac{1}{1 + A_1}，拒絕原假設(shè)，不能繼續(xù)放量；
2). 如果某些環(huán)節(jié)，L_t(H^q_0) > \frac{1}{1 + A_0}，接受原假設(shè)，放量到其中最大q階段；
3). 其他情況，繼續(xù)觀察到t+1，根據(jù)L_(t+1)進(jìn)行決策；
4). 如果直到t = 7都沒滿足條件，建議放量。

2.1.4. 多個(gè)指標(biāo)情況

通過控制FDR來矯正多重檢驗(yàn)問題，通過類似Benjamini-Hochberg方差來處理L_t(H_1^q)：
1). 將M個(gè)指標(biāo)結(jié)果L_t^{(1)}(H_1^q),\ L_t^{(2)}(H_1^q),\ L_t^{(3)}(H_1^q)...進(jìn)行降序排列；
2). 按順序進(jìn)行比較：
L_t^{(m)}(H_1^q) > \frac{1}{1 + \frac{mA_1}{M}}
至少一個(gè)指標(biāo)滿足條件時(shí)，接受H_1^q。

所以放量條件為：
1). H_1^q未被接受；
2). 主要指標(biāo)都接受H_0^q。

2.2. MPR階段的放量

MPR之前主要關(guān)注規(guī)避風(fēng)險(xiǎn)，MPR階段關(guān)注速度和決策質(zhì)量。

2.2.1. MPR時(shí)長

至少一周的時(shí)間

2.2.2. 指標(biāo)的影響

重要的指標(biāo)：任意指標(biāo)p小于0.05，就需要仔細(xì)研究；
其他指標(biāo)：顯著性為0.1，并控制錯(cuò)誤發(fā)現(xiàn)率，如果負(fù)向顯著就不建議放量到100%。

2.2.3. 其他發(fā)現(xiàn)的警告

如果有其他發(fā)現(xiàn)，比如burn-in效應(yīng)、inconsistent results、heterogeneous treatment效應(yīng)等。這些應(yīng)該被自動(dòng)計(jì)算，并給出更好、更全面的推薦方案。

2.3. 評估

分兩方面評估：

  • 一致性
    理想情況下，t階段放量結(jié)論，在t+1階段依然符合；
  • 速度
    理想情況下，用更少的階段、合計(jì)更短的時(shí)間，到達(dá)MPR。

LinkedIn收集了484個(gè)去年在MPR階段滿一周的實(shí)驗(yàn)。由于他們的放量各異，采用了50%流量階段進(jìn)行模擬，pre-MPR前取q\in \{1\%,5\%,10\%,25\%\}。

5% ramp Day=1 vs Day-7

全階段的模擬：


最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容