淺談如何提高自動化測試的穩(wěn)定性和可維護性(pytest&allure)

在之前,我寫過一個系列“從零開始搭建一個簡單的ui自動化測試框架(pytest+selenium+allure)”,在這個系列里,主要介紹了如何從零開始去搭建一個可用的自動化工程框架,但是還缺乏了一些細節(jié)的補充,例如對于自動化測試而言,如何提高其測試的穩(wěn)定性?

本篇文章,將會和讀者一起探討這個問題。

裝飾器與出錯重試機制

談到穩(wěn)定性,不得不說的就是“出錯重試”機制了,在自動化測試中,由于環(huán)境一般都是測試環(huán)境,經常會有各種各種的抽風情況影響測試結果,這樣就為測試的穩(wěn)定性帶來了挑戰(zhàn),畢竟誰也不想自己的腳本一天到晚的出各種未知問題,而往往這種環(huán)境的抽風(通常是前端頁面的響應速度和后端接口的響應速度)帶來的影響是暫時的,可能上一秒失敗了,下一秒你再執(zhí)行又好了,在這種情況下,如果你有一個出錯重試機制,起碼可以在這種暫時性的影響下讓你的腳本安然無恙,下面我們具體的說一下做法。

什么是裝飾器?

因為我們的做法依賴裝飾器,所以在去做之前,先簡單介紹一下裝飾器。

裝飾器,表現(xiàn)形式為,在方法(或者類)的上面加上@xxx這樣的語句,假如我們已經實現(xiàn)了一個裝飾器名叫retry,那么我們想用它就這么用:

@retry
def test_login():
    print("test")
    error = 1/0

如果retry實現(xiàn)了出錯再次重試(稍后再說如何實現(xiàn)),那么這么使用的話,就會讓test_login這個case在執(zhí)行出錯的時候再次執(zhí)行。

很神奇,讓我們來看看實現(xiàn)retry的代碼:

def retry(func):
    def warp():
        for time in range(3):
            try:
                func()
            except:
                pass
    return warp
    

就結果而言,執(zhí)行以下代碼:

@retry
def test_login():
    print("test")
    error = 1/0

test_login()

和執(zhí)行:

retry(test_login)()

是等價的,由此我們可以看出,裝飾器其實本質上就是一個函數(shù),這個函數(shù)接收其他函數(shù)(或者類)作為參數(shù),通過對這個函數(shù)(或者類)的調用或者修改,完成不更改原始函數(shù)而修改該函數(shù)的功能。

在這里還有一個知識點,你有沒有想過,在retry內部的函數(shù)warp(),是怎么拿到func這個參數(shù)來執(zhí)行的?執(zhí)行retry函數(shù)return的是warp這個函數(shù),而warp并沒有接受func這個傳參啊。

這就是python里的閉包的概念,閉包就是指運行時自帶上下文的函數(shù),比如這里的warp這個函數(shù),他運行的時候自帶了上層函數(shù)retry傳給他的func這個函數(shù),所以才可以在運行時對func進行處理和輸出。

了解了裝飾器和閉包,那么下面就很容易做到對測試用例的出錯重試機制了。

編寫一個出錯重試裝飾器

現(xiàn)在,我們來嘗試自己編寫一個用于測試用例的出錯重試裝飾器,代碼如下:

def retry(times=3,wait_time=10):
    def warp_func(func):
        def fild_retry(*args,**kwargs):
            for t in range(times):
                try:
                    func(*args,**kwargs)
                    return 
                except:
                    time.sleep(wait_time)
        return fild_retry
    return warp_func

這個裝飾器可以通過傳入重試次數(shù)(times)和重試等待時間(wait_time),對待測用例實行重試機制。

pytest里的出錯重試機制實現(xiàn)

在測試框架pytest里,已經實現(xiàn)了有關出錯重試的策略,我們首先需要安裝一個此類的插件,在cmd內執(zhí)行以下命令安裝:

pip install pytest-rerunfailures

如果你需要將此機制應用到所有的用例上,那么請在執(zhí)行的時候使用如下命令(reruns是重試次數(shù)):

pytest --reruns 5

來執(zhí)行你的用例;

如果你期望加上出錯重試的等待時間,請使用如下命令(reruns-delay是等待時間):

pytest --reruns 5 --reruns-delay 1

來執(zhí)行你的用例;

如果你只想對某幾個測試用例應用重試策略,你可以使用裝飾器:

@pytest.mark.flaky(reruns=5, reruns_delay=2)

例如:

@pytest.mark.flaky(reruns=5, reruns_delay=2)
def test_example():
    import random
    assert random.choice([True, False])

更詳細的介紹請看官方文檔

Allure里的測試用例分層

剛剛我們實現(xiàn)了用例的出錯重試機制,但是這僅僅解決了腳本在不穩(wěn)定環(huán)境下的穩(wěn)定性;如果還想要腳本變得更加容易維護,除了傳統(tǒng)的po模式使用例和元素分離之外,我們還可以引入測試用例分層機制。

為什么要采用分層機制?

傳統(tǒng)的po模式,僅僅實現(xiàn)了用例和元素分離,這一定層面上保障了用例的可維護性,起碼不必頭疼于元素的變更會讓用例到處失效;但是這還不夠,例如,現(xiàn)在有三個case,他們都包含了以下步驟:登錄、打開工作臺、進入個人中心;那么如果不做分層,這三個用例會把這三個步驟都寫一遍,如果某天頁面的變動導致其中一個步驟需要更改,那么你不得不去每個用例里去更新那個步驟。

而如果,我們把用例當做是堆積木,登錄、打開工作臺、進入個人中心這三個步驟都只是個積木,那么我們寫用例的時候,只需要在用到這個步驟時,把積木搭上去;如果某一天,其中一個積木的步驟有變動,那么只需要去更改這個積木的內容,而無需在每個使用了這個積木的用例里去改動。

這大大增強了用例的復用性和可維護性,這就是采用分層機制的原因,下面,我會就allure里的分層機制做介紹來討論具體如何實現(xiàn)。

allure的裝飾器@step

在allure里,我們可以通過裝飾器@step完成分層機制,具體的,當你用@step裝飾一個方法時,當你在用例里執(zhí)行這個方法,會在報告里,表現(xiàn)出這個被裝飾方法;而@step支持嵌套結構,這就意味著,你可以像搭積木一樣去搭你的步驟,而他們都會一一在報告里被展示。

下面直接用allure的官方示例作做舉例:

import allure
import pytest

from .steps import imported_step


@allure.step
def passing_step():
    pass


@allure.step
def step_with_nested_steps():
    nested_step()


@allure.step
def nested_step():
    nested_step_with_arguments(1, 'abc')


@allure.step
def nested_step_with_arguments(arg1, arg2):
    pass


def test_with_imported_step():
    passing_step()
    imported_step()


def test_with_nested_steps():
    passing_step()
    step_with_nested_steps()

運行這個case后,報告是這樣的:


image

可以看到,
test_with_nested_steps由passing_step()和step_with_nested_steps()這兩個方法組成;

而step_with_nested_steps()又由nested_step()組成;

nested_step()又由nested_step_with_arguments(1, 'abc')組成;

這樣就像搭積木一樣,組成了測試用例;而在報告里,也層級分明的標識了步驟的嵌套結構。

這樣,我們就可以通過一個又一個@step裝飾的方法,組成測試用例;同時報告里也會支持層級顯示;從而完成我們的分層機制。

有關@step的更多詳細介紹請參閱官方文檔。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,525評論 19 139
  • 文章來自:http://blog.csdn.net/mj813/article/details/52451355 ...
    好大一只鵬閱讀 9,345評論 2 126
  • 1****、問:你在測試中發(fā)現(xiàn)了一個bug****,但是開發(fā)經理認為這不是一個bug****,你應該怎樣解決? 首...
    蛋炒飯_By閱讀 5,394評論 1 94
  • 張艷 焦點網絡中級7期 堅持分享第137天 深刻的感受到學習可以控制情緒,哪一天沒有看書,學習,碰到孩子不太乖...
    柚橙媽咪閱讀 208評論 0 2
  • 親愛的小胖,今天媽媽的死黨少燕阿姨把媽媽饞得不行的肉丸和肉餅寄來了,可是,因為阿姨沒有經驗,加上天氣熱,結果...
    zhuo舍舍閱讀 214評論 0 0

友情鏈接更多精彩內容