測試自動化建設成本

原創(chuàng):逆熵研習社


本期導讀

1.未對成本有認識是建設的第一大障礙;

2.投入產(chǎn)出比是需要考慮的至關重要的要素

ROI=執(zhí)行次數(shù)*(手動回歸成本-自動化維護成本)/ (基礎建設成本+引入成本+日常維護成本)

自動化建設成本

在投入自動化建設前需要思考下成本與收益的問題,自動化不是銀彈,以自動化為基礎的CI/CD等都有自己的成本??刂坪贸杀竞褪找娴念A期是建設有效用的自動化體系的根本)

自動化測試是一個讓人又愛有恨的東西,有地方解決了很多問題,而又有不少地方完全成了累贅。經(jīng)歷了這么多年的發(fā)展自動化測試依然是許多公司KPI和OKR中建設的重點,為什么沒有一顆銀彈為大家?guī)砀R裟??簡單來說對自動化建設存在諸多的誤解,其中最重要的誤解是自動化建設是一次性的投入,甚至有些人覺得是一次性開源工具引入的投入。

自動化建設是匹配產(chǎn)品和建構(gòu)逐步迭代和升級的建設。和公司其他基礎性建設有著非常類似的路徑,有投入可以獲得產(chǎn)出,隨著產(chǎn)品的持續(xù)迭代這份投入需要持續(xù)進行。為了使自動化建設更優(yōu)意義提高投入產(chǎn)出比(ROI)至關重要。如何理解自動化建設的投入產(chǎn)出比呢?ROI可以理解為從自動化獲取的收益和自動化投入成本之間的比值:

ROI=獲得收益/成本

其中獲得收益=執(zhí)行次數(shù)*(手動回歸成本-自動化維護成本),而投入成本可以理解為 成本=(基礎建設成本+日常維護成本),整體來看投入產(chǎn)出比可以理解為下面的公式

ROI=執(zhí)行次數(shù)*(手動回歸成本-自動化維護成本)/ (基礎建設成本+引入成本+日常維護成本)

為了讓自動化真的有意義就應該深入細分投入產(chǎn)出公式中的各項,結(jié)合自己公司和項目產(chǎn)品的狀況進行迭代式的升級,持續(xù)提高ROI。

從ROI公式看似乎一些風輕云淡——只要降低成本提高收益就可以了,而實際上每一項之間都有著相互影響的關系,這種影響因素很可能導致ROI<1——投入小于獲得的收益。所以并不存在一種放之四海皆準的自動化方案,在分析自己部門適合什么樣的自動化時需要探索下收入和產(chǎn)出的可能狀況。

影響因素分析

首先,是否要進行建設需要考慮的是執(zhí)行次數(shù)的因素,只有長期高頻次的回歸才有可能拿到更大的收益,這是一項非常簡單有效的判斷標準。根據(jù)這個標準一些短期嘗試性的項目不適合投入較大經(jīng)歷建設自動化,如果在自動化基礎尚薄弱的情況下此類項目建議投入一些精力建設可以提高驗證效率的回歸工具上來。

然后,需要重點考慮的就是基礎建設成本與日常維護成本的平衡。一個經(jīng)過系統(tǒng)化建設的自動化基礎可以有效降低引入成本和日常維護成本,但是經(jīng)過系統(tǒng)化建設的自動化基礎本身也是一個非常昂貴的投入。另外,早期投入太多的精力在自動化基礎建設上導致的高昂成本可能早早的把未來可能的收益給吃掉。吃掉的場景有多種,其中一種是雖然理想很豐滿但是建設出來的系統(tǒng)并未能在業(yè)務系統(tǒng)中起到太大的作用,這種例子在諸多較大規(guī)模的獨立測試架構(gòu)團隊中比比皆是。獨立的測試架構(gòu)團隊雖然擁有較好的開發(fā)能力,但是由于和業(yè)務以及業(yè)務測試同學有一定距離,導致付出成本后無法落地,生產(chǎn)中的收益更是無從談起。另外一種情況也比較常見,隨著自動化和業(yè)務的深入結(jié)合發(fā)現(xiàn)原有的自動化機制底層并不完善,需要放棄大量已實現(xiàn)的功能重新建設。因此在基礎建設上遵循的原則是注重基礎建設,按時期迭代,迭代過程與業(yè)務同步進行。

成本較高的基礎建設包含什么樣的內(nèi)容呢?按照迭代的階段包含以下的范圍:測試可以進行的基礎;測試可以以更高效率進行的基礎;測試可以自動化進行的基礎;大規(guī)模替代手工測試的基礎。從架構(gòu)上來看包含以下層次的內(nèi)容:

在以上因素中不同程度的建設需要不同的成本,但是為了保證自動化測試能夠順利進行至少需要以下基礎:可以支持其業(yè)務的基礎環(huán)境,可以部署和更新的業(yè)務環(huán)境,經(jīng)過一定封裝的業(yè)務lib以及自動化引擎。經(jīng)過精心建設的基礎環(huán)境、業(yè)務環(huán)境等在大規(guī)模自動化測試中可以有效提高自動化測試的文檔并有效降低日常維護成本以及case編寫成本。在本章最后一部分我們一起看一個早期簡單建構(gòu)的自動化方案。本文章后續(xù)部分主要針對較為復雜,需要精心設計的各個部分的建設方案。

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

友情鏈接更多精彩內(nèi)容