前言

“果然一點(diǎn)不相干”是張之洞故事里的一個(gè)文字游戲，這句話是下聯(lián)，上聯(lián)是“樹已千尋難縱斧”。樹對(duì)果，已對(duì)然，千尋對(duì)一點(diǎn)，縱對(duì)相，斧對(duì)干，極其工整，但是句子連起來讀，上下聯(lián)一點(diǎn)關(guān)系也沒有，誠如下聯(lián)“果然一點(diǎn)不相干”的字面意義。

很顯然這個(gè)玩法，是基于拆開每個(gè)文字的多義匹配，和句子的多義匹配，是兩碼事。

A／B測(cè)試

最近的一個(gè)A／B測(cè)試，分流的流程里有的頁面只是路過，并沒有參與改版，這是背景。數(shù)據(jù)出來以后，拆開每個(gè)步驟看，各個(gè)位置的新頁面有的改好，有的改差，但是好玩的是，一點(diǎn)也沒改的頁面，轉(zhuǎn)化率也很有大的變化。

句子可以拆成字去分析，但是仍然會(huì)作為一個(gè)整體去理解，類比A／B測(cè)試，如果刻意地把各個(gè)步驟的結(jié)果堆砌起來，結(jié)果有可能會(huì)“果然一點(diǎn)不相干”。

為什么對(duì)聯(lián)可以變成文字游戲？關(guān)鍵在于歧義，每個(gè)字都有很多意思，干有干戈的意思可以對(duì)上斧，但是和相結(jié)合起來，就有關(guān)聯(lián)的意思，和縱斧的意思完全千里之遙了。

那么流程頁面為什么可以拆開來看呢？其前提是，信息量的輸入和輸出是不變的，同樣是一個(gè)沒有任何改版的頁面，如果他前面一頁信息量發(fā)生了變化，假設(shè)就不成立了。

轉(zhuǎn)移概率

這時(shí)候會(huì)發(fā)現(xiàn)一個(gè)好玩的現(xiàn)象是，A頁面的改版效果，在數(shù)據(jù)上體現(xiàn)在A＋1頁面到A＋2頁面的轉(zhuǎn)化率變化。當(dāng)然你可以說對(duì)A＋3也有影響，用統(tǒng)計(jì)學(xué)的語言表達(dá)，這句話可以寫成：

P（Xn＋1＝x｜X0，X1，X2。。。）

就是說某步驟的下一步轉(zhuǎn)移概率，取決于前面幾步的條件概率。簡化計(jì)算（也就是馬爾可夫）就是第n步僅由第n－1步?jīng)Q定，這個(gè)公式在實(shí)際工作里可以用來識(shí)別名字／識(shí)別翻譯／識(shí)別員工離職概率等等，而且可以防止“果然一點(diǎn)不相干”，為什么？因?yàn)樗紤]了n－1（和n－2／n－3。。。如果你算的過來）。

收回思路，recap一下

1、ab測(cè)試的原則是分步驟、控制變量找問題。

2、當(dāng)信息量等參數(shù)發(fā)生顯著變化，分步驟的形式會(huì)有瑕疵，需要把發(fā)生變化的“下一步”也綁進(jìn)來成為一個(gè)分析體。

3、這就啟示我們，ab測(cè)試的結(jié)果，不僅僅有時(shí)間的壓縮／彈伸效應(yīng)（剛上線效果會(huì)顯著，隨時(shí)間延續(xù)，會(huì)平復(fù)到顯著位和之前位置的中間，冥冥中有一個(gè)常量在控制，以前寫過一篇blog），還有空間的壓縮彈伸效應(yīng)，也就是有些位置會(huì)極大改善，有些位置會(huì)變差，冥冥中也有一個(gè)常量在控制。

這也可以解釋為什么“看起來越容易成功的改版，越容易失敗“（抱歉這句偽名言是我自己想出來的），因?yàn)槿说恼J(rèn)知往往會(huì)忽視一些不容易察覺到的隱含變量，經(jīng)過時(shí)間空間的來回拉伸以后，最終穩(wěn)定狀態(tài)能夠有微小改善就很不錯(cuò)了。

4、所以我會(huì)得到“ab測(cè)試應(yīng)該更復(fù)雜”的結(jié)論么？

不。恰恰相反，這更說明ab測(cè)試的意義應(yīng)該更“輔助”。

本來這就是歐美的互聯(lián)網(wǎng)工程師文化下的小玩意，在國內(nèi)被妖魔化了，僅僅是輔助，如果完全依賴A／B來做決策，而不結(jié)合傳統(tǒng)的客戶調(diào)研，基于經(jīng)驗(yàn)的感性分析等，則要么是出于政治訴求，要么就是無知無畏，不怕“果然一點(diǎn)不相干”了。

謝謝閱讀。