灰度測(cè)試,灰度發(fā)布,AB Test
? 最近接觸了一個(gè)新的名詞,灰度測(cè)試,而且感覺同事提到的頻率還蠻高的,所以特意去了解了一下這些詞語(yǔ)的定義。
? 首先聲明,這篇總結(jié)是讀了很多網(wǎng)上文檔寫出來的。可能有相似或者沖突的地方。
定義
灰度測(cè)試:如果軟件要推出一個(gè)新功能,或者要做一次比較大的改動(dòng),首先進(jìn)行一個(gè)小范圍的測(cè)試,然后慢慢放量,直到這個(gè)功能覆蓋到所有用戶。
-
灰度發(fā)布:通過不同的策略將用戶分流,讓不同的用戶體驗(yàn)不同的版本。(常用方法:產(chǎn)品Q群、產(chǎn)品微信群、內(nèi)部用戶、app自升級(jí)、換量渠道、不會(huì)被抓包的小市場(chǎng),在這些渠道將灰度包放還出去。這里邊可控度最強(qiáng)的當(dāng)屬app自升級(jí)了。根據(jù)時(shí)間段,用戶版本,升級(jí)請(qǐng)求數(shù)量,實(shí)際升級(jí)數(shù)等等)
(三大類型:1web頁(yè)面灰度。2服務(wù)器厚度??蛻舳嘶叶龋?/p>
-
AB Test:灰度發(fā)布方法中的一種,將用戶分為AB兩組,然后收集他們的反饋效果。
(策略維度:包括新聞信息、地理坐標(biāo)、版本信息、發(fā)布渠道、城市、網(wǎng)絡(luò)類型等)
(生效機(jī)制:立即生效,熱啟生效,冷啟生效。熱啟生效就是退出界面,重新進(jìn)入生效,實(shí)時(shí)。冷啟生效就是殺死進(jìn)程之后,重新進(jìn)入生效,安全)
優(yōu)點(diǎn)
- 提前獲得目標(biāo)用戶的使用反饋,及時(shí)差缺補(bǔ)漏
- 發(fā)現(xiàn)bug時(shí),可以及時(shí)回滾
- 快速驗(yàn)證產(chǎn)品的效果
- 降低發(fā)布風(fēng)險(xiǎn),降低測(cè)試依賴
發(fā)布流程
- 定義目標(biāo)
- 選定策略:用戶規(guī)模,發(fā)布頻率,功能覆蓋度,回滾策略,運(yùn)營(yíng)策略,新舊系統(tǒng)部署。
- 篩選用戶:用戶特征,用戶數(shù)量,常用功能,用戶范圍。
- 部署系統(tǒng):部署新系統(tǒng),部署用戶行為分析系統(tǒng),設(shè)定分流規(guī)則,運(yùn)營(yíng)數(shù)據(jù)分析,分流規(guī)則微調(diào)
- 發(fā)布總結(jié):用戶行為報(bào)告分析,用戶問卷調(diào)查,社會(huì)化媒體意見收集,形成產(chǎn)品功能改進(jìn)列表
- 產(chǎn)品完善
- 迭代