增長黑客概念近年來很火，網(wǎng)上流傳著很多做用戶增長的各種方法論和案例，但很少有一次完整的增長過程描述，今天就把我在站酷網(wǎng)做增長的過程給大家做下復(fù)盤，分享下如何用A/B測試進行增長實驗。

實驗名稱

首先為實驗命一個名，本次實驗名稱為：內(nèi)容詳情頁內(nèi)容消費轉(zhuǎn)化測試。本次實驗的對象是針對站酷小程序端的所有用戶，目的是讓用戶消費站酷網(wǎng)小程序上的內(nèi)容，而且是在內(nèi)容詳情頁就進行內(nèi)容點擊消費。

實驗假設(shè)

描述實驗假設(shè)條件和滿足條件后的預(yù)估效果。假設(shè)這個實驗很成功，我們預(yù)測用戶在詳情頁消費內(nèi)容轉(zhuǎn)換率，能提升10%，因為：

用戶可以從內(nèi)容列表或單個分享的內(nèi)容打開內(nèi)容詳情頁，有打開的行為一定程度上能說明用戶對內(nèi)容是感興趣的。假設(shè)用戶打開查看后發(fā)現(xiàn)內(nèi)容并不感興趣，就會直接退出，不會消費內(nèi)容。

如果我們讓用戶進來，查看這個內(nèi)容之后能推薦相關(guān)的內(nèi)容，可能會引起用戶興趣，預(yù)計會提升內(nèi)容消費點擊率。

實驗設(shè)計

出于成本和快速驗證的考慮，本次實驗由我司服務(wù)端同學(xué)開發(fā)，采用記錄用戶Cookie的方式簡單開啟實驗。本次實驗中，會給每個訪問的用戶（第一次打開小程序）歸類，如Cookie尾數(shù)為偶數(shù)的劃為一組，尾數(shù)為奇數(shù)的為另一組，等分成2組，每組分流50%，第一組看到實驗組1頁面，第二組看到實驗組2，然后取未更新前一段時間的數(shù)據(jù)為對照組，對比試驗組2和實驗組1和對照組的點擊轉(zhuǎn)化數(shù)據(jù)。

對照組，該組看到的頁面，就是新版更新前的頁面，和實驗組1頁面一樣，只是數(shù)據(jù)采集的時間是小程序新版更新前。

實驗組1，該組看到的頁面，就是站酷網(wǎng)小程序新版前的內(nèi)容詳情頁，沒有任何變化。如下圖：

實驗組，該組看到的，是把站酷網(wǎng)小程序內(nèi)容詳情頁的相關(guān)推薦改成大卡的樣式，可點擊區(qū)域視覺上增大了，這個區(qū)域為用戶呈現(xiàn)內(nèi)容詳情頁的創(chuàng)作者的相關(guān)內(nèi)容。如下圖：

用戶點擊卡片區(qū)域可跳轉(zhuǎn)至下一個詳情頁，繼續(xù)查看內(nèi)容。

實驗指標(biāo)

定義實驗觀察的數(shù)據(jù)指標(biāo)。本次實驗定義指標(biāo)為：每組用戶，從打開詳情頁到消費內(nèi)容的額轉(zhuǎn)換率百分比。

實驗時間

本次實驗時間，2018年6月11日-2018年6月17日

另外，為了對比試驗，對照組會取2018年5月28日到2018年6月2日期間的數(shù)據(jù)，作為對照數(shù)據(jù)。

實驗打分

從預(yù)期影響、所需資源、成功概率分別給實驗打分。預(yù)期影響為高，期望這個模塊能比普通的信息流模塊更多提升點擊轉(zhuǎn)化率。所需資源較少，a／b測試的實驗邏輯較簡單，開發(fā)成本低。成功概率高，因為站酷網(wǎng)app已有該模塊（但并未有數(shù)據(jù)對比）?？偟木C合打分為：高

實驗結(jié)果數(shù)據(jù)

本次實驗觀察的數(shù)據(jù)主要有，一個是對照組的內(nèi)容轉(zhuǎn)化率，作為實驗中的額參照數(shù)據(jù)；另一個是實驗組的內(nèi)容轉(zhuǎn)換率，作為主要觀察指標(biāo)。

內(nèi)容轉(zhuǎn)換率。3組數(shù)據(jù)表現(xiàn)如下：

實驗結(jié)論分析

對實驗結(jié)果數(shù)據(jù)做出簡單分析，得出一定結(jié)論。具體如下：

實驗組2采用的大卡片的樣式，能提升用戶的點擊轉(zhuǎn)化率，從數(shù)據(jù)上看基本達到預(yù)期，提升了10%以上。

后續(xù)計劃

本次實驗完成后，預(yù)計在觀察一段時間以后，實驗組2的樣式會全面覆蓋小程序。

以上是本次實驗的簡單總結(jié)，總體來說還是比較成功的，雖然產(chǎn)品只是改動了細(xì)節(jié)，但是對數(shù)據(jù)的影響還是意義重大的，對以后進行其他實驗打下了基礎(chǔ)。