在互聯(lián)網(wǎng)行業(yè)ABtest也是我們常聽到的一個詞，尤其是產(chǎn)品迭代，其實在大量快速的實驗時，我們最好都要進(jìn)行ABtest。
由于一些個人原因已經(jīng)間隔兩周沒有做內(nèi)容的更新了，本周開始恢復(fù)正常~
什么是ABtest
ABtest是一個在線測試的常規(guī)方法，一般用于新產(chǎn)品或者新功能的測試。
需要在同等條件下，把用戶分為兩組，一組上線新的產(chǎn)品或者功能或者活動（實驗組），另外一組保持已有（對照組）。整體遵循兩組用戶變量唯一，這里的變量其實就是是否有上線新的活動或者功能或者活動。
為什么要保持變量唯一？為了保證我們能夠?qū)@一個唯一變量進(jìn)行有效評估，如果多個變量因素干擾，會無法對最終結(jié)果的影響因素進(jìn)行準(zhǔn)確判斷。
為什么做ABtest
整體來說做ABtest的原因主要是為了評判新的產(chǎn)品或者功能與現(xiàn)有相比那個更好；有新的產(chǎn)品或者活動與沒有時對用戶的影響是否更好。
ABtest最大的好處就是實驗組和對照組唯一變量對比，能夠明確評判新改動的效果和影響力，不論是好與壞，ABtest都更具有說服力。在日常工作中其實經(jīng)常會發(fā)現(xiàn)我們的很多產(chǎn)品上線根本不會做ABtest，有些新增項可能還好，但是在原有產(chǎn)品上的改動如果不做ABtest就切換流量，其實很容易對用戶造成傷害，增加用戶的切換陳本，萬一上線后看效果不好，再次切換更是讓用戶感知到產(chǎn)品混亂，影響用戶體驗。
案例：
這是我個人經(jīng)歷的一個真實情況，從8月底開學(xué)季一直到10月份我們的產(chǎn)品DAU以及其他收入指標(biāo)其實一直都有下降，這時候我們做了一類新的活動嘗試，也做了ABtest，假設(shè)我們那會沒有進(jìn)行ABtest，只根據(jù)活動上線前后進(jìn)行對比的話，是根本看不出來任何影響的，因為大盤一直在下降，而正是因為ABtest我們明確了此類活動的有效性，給了大家一個合理的判斷解釋。
ABtest的適用情況
存在明確的對照組和實驗組，能夠選擇合適的指標(biāo)評估此類改變，適合使用A/B Test。
1、有新的產(chǎn)品優(yōu)化或者功能優(yōu)化，尤其是對用戶使用路徑或者便捷性影響較大的改動
2、精細(xì)化運營中，針對不同人群各種類型的活動嘗試
3、推薦策略的優(yōu)化或新增
舉例：
①某互聯(lián)網(wǎng)產(chǎn)品首次對主頁內(nèi)容使用算法推薦，通過ABtest,發(fā)現(xiàn)使用明顯增加了頁面內(nèi)容的點擊和最終收入；
②某閱讀類產(chǎn)品對推薦策略進(jìn)行優(yōu)化，通過ABtest對比分析策略改動對用戶的正負(fù)影響；
③某互聯(lián)網(wǎng)公司剛開始嘗試精細(xì)化運營，初期針對不同用戶群體大量進(jìn)行活動實驗，通過ABtest擇優(yōu)選取了一些有效的活動，舍棄了一些低效的活動。
綜述：
ABtest可以讓我們對改動進(jìn)行更有效的評估，排除更多的可干擾因素，且對外解釋性較好。
#原創(chuàng)? ? 下期繼續(xù)
#作者 ? 互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)產(chǎn)品一枚
標(biāo)簽：數(shù)據(jù)分析 ? ?思維
