pytest-捕获告警信息

1.告警信息的默认捕获行为

pytest可以自动捕获测试中产生的告警信息，在测试结束后进行展示

import warnings
def api_v1():warnings.warn(UserWarning('请使用新版本的api'))return 1def test_one():assert api_v1() == 1

返回结果：

D:\pytest\exercise\chapter8>pytest -q test_show_warning.py
.                                                                                                                                                   [100%]
==================================================================== warnings summary ====================================================================
test_show_warning.py::test_oneD:\pytest\exercise\chapter8\test_show_warning.py:7: UserWarning: 请使用新版本的apiwarnings.warn(UserWarning('请使用新版本的api'))-- Docs: https://docs.pytest.org/en/stable/warnings.html
1 passed, 1 warning in 0.02s

可以通过-W arg、命令行选项来自定义告警的捕获：
arg参数的格式为：

action:message:catagory:module:lineno;

action:只能在error、ignore、always(all)、default、module、once中取值，默认取值为default
category必须是warning的子类，默认取值为Warning类，表示所有的告警
module必须为字符串，表示特定模块产生的告警信息

一些常见的使用场景：

忽略某一种类型的告警信息，例如会略UserWarning类型的告警(-W ignore::UserWarning)

D:\pytest\exercise\chapter8>pytest -W ignore::UserWarning test_show_warning.py
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8
plugins: allure-pytest-2.8.36
collected 1 itemtest_show_warning.py .                                                                                                                            [100%]================================================================== 1 passed in 0.07s ============================================================

将一种类型的告警转换为异常来处理，例如：将UserWaarning告警转换为异常处理(-W error::Userwarning)

D:\pytest\exercise\chapter8>pytest -W error::UserWarning test_show_warning.py
================================================================== test session starts ===================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8
plugins: allure-pytest-2.8.36
collected 1 item                                                                                                                                          test_show_warning.py F                                                                                                                              [100%]======================================================================== FAILURES ========================================================================
________________________________________________________________________ test_one ________________________________________________________________________def test_one():
>       assert api_v1() == 1test_show_warning.py:11:
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _def api_v1():
>       warnings.warn(UserWarning('请使用新版本的api'))
E       UserWarning: 请使用新版本的apitest_show_warning.py:7: UserWarning
================================================================ short test summary info =================================================================
FAILED test_show_warning.py::test_one - UserWarning: 请使用新版本的api
=================================================================== 1 failed in 0.11s ====================================================================

只展示某一个模块中产生的告警，例如：只展示test_show_warnings模块中产生的告警信息，忽略其他的告警（-W ignore -W default:::test_show_warnings）

D:\pytest\exercise>pytest -W ignore -W default:::test_show_warnings chapter8/
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise
plugins: allure-pytest-2.8.36
collected 1 item                                                                                                                                        chapter8\test_show_warning.py .                                                                                                                   [100%]================================================================== 1 passed in 0.03s ===================================================================

这里我们演示了多个-W选项的组合操作，优先级是从左到右依次递增的；这里如果将它们调换一下顺序（即-W default:::test_show_warnings -W ignore），因为-W ignore最后生效，覆盖掉之前的操作，最终的结果就是我们一个告警信息都没有捕获到；

也可以通过在pytest.ini文件中配置filterwarnings选项，来实现同样的操作。

[pytest]
filterwarnings =ignoredefault:::test_show_warnings

2. @pytest.mark.filterwarnings

上述操作是通过命令行执行的，使用起来多有不便，如何能够在用例、类、模块级别上自定义告警的捕获行为？可通过为测试项添加告警过滤器实现。
pytest.ini中定义的配置，禁止了除了test_show_warning模块外，其他的所有告警捕获行为。
现在新增用例，禁止捕获由它所触发的用户告警：

@pytest.mark.filterwarnings('ignore::UserWarning')
def test_two():assert api_v1() ==1

测试结果：

D:\pytest\exercise\chapter8>pytest -k "test_two"
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 2 items / 1 deselected / 1 selected                                                                                                           test_show_warning.py .                                                                                                                            [100%]=========================================================== 1 passed, 1 deselected in 0.05s ============================================================

测试test_one：

D:\pytest\exercise\chapter8>pytest -k "test_one"
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 2 items / 1 deselected / 1 selected                                                                                                           test_show_warning.py .                                                                                                                            [100%]=========================================================== 1 passed, 1 deselected in 0.03s ============================================================

我们可以通过将@pytest.mark.filterwarnings应用于测试类为类中每一个测试用例添加过滤器。也可以通过设置pytestmark变量为整个测试模块中所有的用例添加告警过滤器：

pytestmark = pytest.mark.filterwarnings("error")

3. 取消告警信息的展示

D:\pytest\exercise\chapter8>pytest -k "test_one" --disable-warnings
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 2 items / 1 deselected / 1 selected                                                                                                           test_show_warning.py .                                                                                                                            [100%]=========================================================== 1 passed, 1 deselected in 0.03s ============================================================

4. 不使用告警的捕获功能

上小节中只是不展示捕获到的告警信息，我们可以通过- p no::warnings命令禁止告警的捕获行为。

D:\pytest\exercise\chapter8>pytest -k "test_one" -p no:warnings test_show_warning.py
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 2 items / 1 deselected / 1 selected                                                                                                           test_show_warning.py .                                                                                                                            [100%]=========================================================== 1 passed, 1 deselected in 0.02s ============================================================

5. DeprecationWarning和PendingDeprecationWarning告警

pytest会默认捕获DeprecationWarning和PendingDeprecationWarning类型的告警。有时候，你并不需要这种行为，可以通过在pytest.ini添加配置；例如，忽略告警信息匹配".*U.*mode is deprecated"的DeprecationWarning告警：

[pytest]
filterwarnings =ignore:.*U.*mode is deprecated:DeprecationWarning

5.1 pytest.deprecated_call方法

可以通过deprecated_call方法确保一段代码触发DeprecationWarning或者PendingDeprecationWarning告警。

import warnings
import pytestdef api_call_v1():warnings.warn("v1版本已经弃用，请使用v2版本的api")def test_deprecation():assert pytest.deprecated_call(api_call_v1()) == 200

返回结果：

D:\pytest\exercise\chapter8>pytest test_deprecation.py
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 1 item                                                                                                                                        test_deprecation.py F                                                                                                                             [100%]======================================================================= FAILURES =======================================================================
___________________________________________________________________ test_deprecation ___________________________________________________________________def test_deprecation():
>       assert pytest.deprecated_call(api_call_v1()) == 200
E       assert WarningsChecker(record=True) == 200
E        +  where WarningsChecker(record=True) = <function deprecated_call at 0x0000018F59D06280>(None)
E        +    where <function deprecated_call at 0x0000018F59D06280> = pytest.deprecated_call
E        +    and   None = api_call_v1()test_deprecation.py:12: AssertionError
=============================================================== short test summary info ================================================================
FAILED test_deprecation.py::test_deprecation - assert WarningsChecker(record=True) == 200
================================================================== 1 failed in 0.09s ===================================================================

deprecated_call也支持上下文管理器的写法：

def test_deprecation2():with pytest.deprecated_call():assert api_call_v1() == 200

6. 编写触发期望告警的断言

可以使用pytest.warns()作为上下文管理器，编写一个触发期望告警的断言，和pytest.raises()的用法很接近。
deprecaed_call方法的源码：

# _pytest/warnings.pydef deprecated_call(func=None, *args, **kwargs):__tracebackhide__ = Trueif func is not None:args = (func,) + argsreturn warns((DeprecationWarning, PendingDeprecationWarning), *args, **kwargs)

可以看出，deprecated_call也是pytest_warns()的封装，区别在于其指定了具体期望的告警类型。

通过上小节的例子看一下pytest.warns()的用法：

可以为其传递一个关键字参数match，判断捕获到的告警信息是否匹配正则表。

def test_deprecation3():with pytest.warns((DeprecationWarning,PendingDeprecationWarning),match=r'v1版本已废弃'):assert api_call_v1() == 200

测试结果：

D:\pytest\exercise\chapter8>pytest -k test_deprecation3 test_deprecation.py
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 3 items / 2 deselected / 1 selected                                                                                                           test_deprecation.py F                                                                                                                             [100%]======================================================================= FAILURES =======================================================================
__________________________________________________________________ test_deprecation3 ___________________________________________________________________def test_deprecation3():with pytest.warns((DeprecationWarning,PendingDeprecationWarning),match=r'v1版本已废弃'):
>           assert api_call_v1() == 200
E           assert None == 200
E            +  where None = api_call_v1()test_deprecation.py:20: AssertionError
=============================================================== short test summary info ================================================================
FAILED test_deprecation.py::test_deprecation3 - assert None == 200
=========================================================== 1 failed, 2 deselected in 0.12s ============================================================

我们也可以直接传递可低啊用对象，表达式返回执行这个可调用对象的结果：

def test_deprecation4():assert pytest.warns((DeprecationWarning,PendingDeprecationWarning), api_call_v1,match=r'和 pytest.raises() 方法一样，这时 pytest 不再判断告警信息是否正确') == 200

测试结果：

D:\pytest\exercise\chapter8>pytest -k test_deprecation4 test_deprecation.py
================================================================== test session starts ===================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 4 items / 3 deselected / 1 selected                                                                                                             test_deprecation.py F                                                                                                                               [100%]======================================================================== FAILURES ========================================================================
___________________________________________________________________ test_deprecation4 ____________________________________________________________________def test_deprecation4():
>       assert pytest.warns((DeprecationWarning,PendingDeprecationWarning), api_call_v1,match=r'和 pytest.raises() 方法一样，这时 pytest 不再判断告警信息是否正确') == 200
E       Failed: DID NOT WARN. No warnings of type (<class 'DeprecationWarning'>, <class 'PendingDeprecationWarning'>) was emitted. The list of emitted warn
ings is: [UserWarning('v1版本已经弃用，请使用v2版本的api')].test_deprecation.py:24: Failed
================================================================ short test summary info =================================================================
FAILED test_deprecation.py::test_deprecation4 - Failed: DID NOT WARN. No warnings of type (<class 'DeprecationWarning'>, <class 'PendingDeprecationWarni...============================================================ 1 failed, 3 deselected in 0.10s =============================================================

pytest.warns()可以返回一个列表，包含所有捕获到的告警对象 (warnings.WarningMessage)

import re
def test_deprecation5():with pytest.warns((DeprecationWarning,PendingDeprecationWarning)) as records:assert api_call_v1() == 200assert len(records) == 1assert re.search(r'v1版本已废弃',records[0].message.args[0])

返回结果：

D:\pytest\exercise\chapter8>pytest -k test_deprecation5 test_deprecation.py
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 5 items / 4 deselected / 1 selected                                                                                                           test_deprecation.py F                                                                                                                             [100%]======================================================================= FAILURES =======================================================================
__________________________________________________________________ test_deprecation5 ___________________________________________________________________def test_deprecation5():with pytest.warns((DeprecationWarning,PendingDeprecationWarning)) as records:
>           assert api_call_v1() == 200
E           assert None == 200
E            +  where None = api_call_v1()test_deprecation.py:31: AssertionError
=============================================================== short test summary info ================================================================
FAILED test_deprecation.py::test_deprecation5 - assert None == 200
=========================================================== 1 failed, 4 deselected in 0.11s ============================================================

实际上返回的不是一个列表。只是实现了__getitem__()和__len__()方法的普通类，其内部本身有一个_list的私有属性用于存储所有的数据。

pytest.warns()的源码如下：

# _pytest/recwarn.pydef warns(expected_warning: Union["Type[Warning]", Tuple["Type[Warning]", ...]],*args: Any,match: Optional[Union[str, "Pattern"]] = None,**kwargs: Any
) -> Union["WarningsChecker", Any]:__tracebackhide__ = Trueif not args:if kwargs:msg = "Unexpected keyword arguments passed to pytest.warns: "msg += ", ".join(sorted(kwargs))msg += "\nUse context-manager form instead?"raise TypeError(msg)return WarningsChecker(expected_warning, match_expr=match)else:func = args[0]if not callable(func):raise TypeError("{!r} object (type: {}) must be callable".format(func, type(func)))with WarningsChecker(expected_warning):return func(*args[1:], **kwargs)

6.2 自定义失败时的提示消息

def test_deprecation6():with pytest.warns(Warning) as records:rsp = api_call_v1()if not records:pytest.fail('期望apu_call_v1 触发告警，实际上没有')assert rsp == 200

测试结果：

D:\pytest\exercise\chapter8>pytest -k test_deprecation6 test_deprecation.py
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 6 items / 5 deselected / 1 selected                                                                                                           test_deprecation.py F                                                                                                                             [100%]======================================================================= FAILURES =======================================================================
__________________________________________________________________ test_deprecation6 ___________________________________________________________________def test_deprecation6():with pytest.warns(Warning) as records:rsp = api_call_v1()if not records:pytest.fail('期望apu_call_v1 触发告警，实际上没有')
>           assert rsp == 200
E           assert None == 200test_deprecation.py:41: AssertionError
=============================================================== short test summary info ================================================================
FAILED test_deprecation.py::test_deprecation6 - assert None == 200
=========================================================== 1 failed, 5 deselected in 0.09s ============================================================

7. recwarn fixture

recwarn是一个用例级别的fixture，可以用于记录用例产生的所有告警。

def test_reprecation7(recwarn):api_call_v1()assert len(recwarn) == 1w = recwarn.pop()  #不指定告警类型，默认弹出最先报出的告警信息assert issubclass(w.category,(DeprecationWarning,PendingDeprecationWarning))assert re.search(r'v1版本已废弃',w.message.args[0])

测试结果：

D:\pytest\exercise\chapter8>pytest -k test_deprecation7 test_deprecation.py
================================================================= test session starts ==================================================================
platform win32 -- Python 3.8.5, pytest-6.2.2, py-1.10.0, pluggy-0.13.1
rootdir: D:\pytest\exercise\chapter8, configfile: pytest.ini
plugins: allure-pytest-2.8.36
collected 7 items / 7 deselected                                                                                                                        ================================================================ 7 deselected in 0.03s =================================================================

pytest自定义的告警类型

pytest自定义的告警类型：