在实际工作中,测试用例可能需要支持多种场景,我们可以把和场景强相关的部分抽象成参数,通过对参数的赋值来驱动用例的执行;

参数化的行为表现在不同的层级上:

fixture的参数化:参考 4、fixtures:明确的、模块化的和可扩展的 -- fixture的参数化;

测试用例的参数化:使用@pytest.mark.parametrize可以在测试用例、测试类甚至测试模块中标记多个参数或fixture的组合;

另外,我们也可以通过pytest_generate_tests这个钩子方法自定义参数化的方案;

1. @pytest.mark.parametrize标记

@pytest.mark.parametrize的根本作用是在收集测试用例的过程中,通过对指定参数的赋值来新增被标记对象的调用(执行);

首先,我们来看一下它在源码中的定义:

# _pytest/python.py

def parametrize(self, argnames, argvalues, indirect=False, ids=None, scope=None):

着重分析一下各个参数:

argnames:一个用逗号分隔的字符串,或者一个列表/元组,表明指定的参数名;

对于argnames,实际上我们是有一些限制的:

只能是被标记对象入参的子集:

@pytest.mark.parametrize('input, expected', [(1, 2)])

def test_sample(input):

assert input + 1 == 1

test_sample中并没有声明expected参数,如果我们在标记中强行声明,会得到如下错误:

In test_sample: function uses no argument 'expected'

不能是被标记对象入参中,定义了默认值的参数:

@pytest.mark.parametrize('input, expected', [(1, 2)])

def test_sample(input, expected=2):

assert input + 1 == expected

虽然test_sample声明了expected参数,但同时也为其赋予了一个默认值,如果我们在标记中强行声明,会得到如下错误:

In test_sample: function already takes an argument 'expected' with a default value

会覆盖同名的fixture:

@pytest.fixture()

def expected():

return 1

@pytest.mark.parametrize('input, expected', [(1, 2)])

def test_sample(input, expected):

assert input + 1 == expected

test_sample标记中的expected(2)覆盖了同名的fixture expected(1),所以这条用例是可以测试成功的;

argvalues:一个可迭代对象,表明对argnames参数的赋值,具体有以下几种情况:

如果argnames包含多个参数,那么argvalues的迭代返回元素必须是可度量的(即支持len()方法),并且长度和argnames声明参数的个数相等,所以它可以是元组/列表/集合等,表明所有入参的实参:

@pytest.mark.parametrize('input, expected', [(1, 2), [2, 3], set([3, 4])])

def test_sample(input, expected):

assert input + 1 == expected

注意:考虑到集合的去重特性,我们并不建议使用它;

如果argnames只包含一个参数,那么argvalues的迭代返回元素可以是具体的值:

@pytest.mark.parametrize('input', [1, 2, 3])

def test_sample(input):

assert input + 1

如果你也注意到我们之前提到,argvalues是一个可迭代对象,那么我们就可以实现更复杂的场景;例如:从excel文件中读取实参:

def read_excel():

# 从数据库或者 excel 文件中读取设备的信息,这里简化为一个列表

for dev in ['dev1', 'dev2', 'dev3']:

yield dev

@pytest.mark.parametrize('dev', read_excel())

def test_sample(dev):

assert dev

实现这个场景有多种方法,你也可以直接在一个fixture中去加载excel中的数据,但是它们在测试报告中的表现会有所区别;

或许你还记得,在上一篇教程(10、skip和xfail标记 -- 结合pytest.param方法)中,我们使用pytest.param为argvalues参数赋值:

@pytest.mark.parametrize(

('n', 'expected'),

[(2, 1),

pytest.param(2, 1, marks=pytest.mark.xfail(), id='XPASS')])

def test_params(n, expected):

assert 2 / n == expected

现在我们来具体分析一下这个行为:

无论argvalues中传递的是可度量对象(列表、元组等)还是具体的值,在源码中我们都会将其封装成一个ParameterSet对象,它是一个具名元组(namedtuple),包含values, marks, id三个元素:

>>> from _pytest.mark.structures import ParameterSet as PS

>>> PS._make([(1, 2), [], None])

ParameterSet(values=(1, 2), marks=[], id=None)

如果直接传递一个ParameterSet对象会发生什么呢?我们去源码里找答案:

# _pytest/mark/structures.py

class ParameterSet(namedtuple("ParameterSet", "values, marks, id")):

...

@classmethod

def extract_from(cls, parameterset, force_tuple=False):

"""

:param parameterset:

a legacy style parameterset that may or may not be a tuple,

and may or may not be wrapped into a mess of mark objects

:param force_tuple:

enforce tuple wrapping so single argument tuple values

don't get decomposed and break tests

"""

if isinstance(parameterset, cls):

return parameterset

if force_tuple:

return cls.param(parameterset)

else:

return cls(parameterset, marks=[], id=None)

可以看到如果直接传递一个ParameterSet对象,那么返回的就是它本身(return parameterset),所以下面例子中的两种写法是等价的:

# src/chapter-11/test_sample.py

import pytest

from _pytest.mark.structures import ParameterSet

@pytest.mark.parametrize(

'input, expected',

[(1, 2), ParameterSet(values=(1, 2), marks=[], id=None)])

def test_sample(input, expected):

assert input + 1 == expected

到这里,或许你已经猜到了,pytest.param的作用就是封装一个ParameterSet对象;那么我们去源码里求证一下吧!

# _pytest/mark/__init__.py

def param(*values, **kw):

"""Specify a parameter in `pytest.mark.parametrize`_ calls or

:ref:`parametrized fixtures `.

.. code-block:: python

@pytest.mark.parametrize("test_input,expected", [

("3+5", 8),

pytest.param("6*9", 42, marks=pytest.mark.xfail),

])

def test_eval(test_input, expected):

assert eval(test_input) == expected

:param values: variable args of the values of the parameter set, in order.

:keyword marks: a single mark or a list of marks to be applied to this parameter set.

:keyword str id: the id to attribute to this parameter set.

"""

return ParameterSet.param(*values, **kw)

正如我们所料,现在你应该更明白怎么给argvalues传参了吧;

indirect:argnames的子集或者一个布尔值;将指定参数的实参通过request.param重定向到和参数同名的fixture中,以此满足更复杂的场景;

具体使用方法可以参考以下示例:

# src/chapter-11/test_indirect.py

import pytest

@pytest.fixture()

def max(request):

return request.param - 1

@pytest.fixture()

def min(request):

return request.param + 1

# 默认 indirect 为 False

@pytest.mark.parametrize('min, max', [(1, 2), (3, 4)])

def test_indirect(min, max):

assert min <= max

# min max 对应的实参重定向到同名的 fixture 中

@pytest.mark.parametrize('min, max', [(1, 2), (3, 4)], indirect=True)

def test_indirect_indirect(min, max):

assert min >= max

# 只将 max 对应的实参重定向到 fixture 中

@pytest.mark.parametrize('min, max', [(1, 2), (3, 4)], indirect=['max'])

def test_indirect_part_indirect(min, max):

assert min == max

ids:一个可执行对象,用于生成测试ID,或者一个列表/元组,指明所有新增用例的测试ID;

如果使用列表/元组直接指明测试ID,那么它的长度要等于argvalues的长度:

@pytest.mark.parametrize('input, expected', [(1, 2), (3, 4)],

ids=['first', 'second'])

def test_ids_with_ids(input, expected):

pass

搜集到的测试ID如下:

collected 2 items

如果指定了相同的测试ID,pytest会在后面自动添加索引:

@pytest.mark.parametrize('input, expected', [(1, 2), (3, 4)],

ids=['num', 'num'])

def test_ids_with_ids(input, expected):

pass

搜集到的测试ID如下:

collected 2 items

如果在指定的测试ID中使用了非ASCII的值,默认显示的是字节序列:

@pytest.mark.parametrize('input, expected', [(1, 2), (3, 4)],

ids=['num', '中文'])

def test_ids_with_ids(input, expected):

pass

搜集到的测试ID如下:

collected 2 items

可以看到我们期望显示中文,实际上显示的是\u4e2d\u6587;

如果我们想要得到期望的显示,该怎么办呢?去源码里找答案:

# _pytest/python.py

def _ascii_escaped_by_config(val, config):

if config is None:

escape_option = False

else:

escape_option = config.getini(

"disable_test_id_escaping_and_forfeit_all_rights_to_community_support"

)

return val if escape_option else ascii_escaped(val)

我们可以通过在pytest.ini中使能disable_test_id_escaping_and_forfeit_all_rights_to_community_support选项来避免这种情况:

[pytest]

disable_test_id_escaping_and_forfeit_all_rights_to_community_support = True

再次搜集到的测试ID如下:

如果通过一个可执行对象生成测试ID:

def idfn(val):

# 将每个 val 都加 1

return val + 1

@pytest.mark.parametrize('input, expected', [(1, 2), (3, 4)], ids=idfn)

def test_ids_with_ids(input, expected):

pass

搜集到的测试ID如下:

collected 2 items

通过上面的例子我们可以看到,对于一个具体的argvalues参数(1, 2)来说,它被拆分为1和2分别传递给idfn,并将返回值通过-符号连接在一起作为一个测试ID返回,而不是将(1, 2)作为一个整体传入的;

下面我们在源码中看看是如何实现的:

# _pytest/python.py

def _idvalset(idx, parameterset, argnames, idfn, ids, item, config):

if parameterset.id is not None:

return parameterset.id

if ids is None or (idx >= len(ids) or ids[idx] is None):

this_id = [

_idval(val, argname, idx, idfn, item=item, config=config)

for val, argname in zip(parameterset.values, argnames)

]

return "-".join(this_id)

else:

return _ascii_escaped_by_config(ids[idx], config)

和我们猜想的一样,先通过zip(parameterset.values, argnames)将argnames和argvalues的值一一对应,再将处理过的返回值通过"-".join(this_id)连接;

另外,如果我们足够细心,从上面的源码中还可以看出,假设已经通过pytest.param指定了id属性,那么将会覆盖ids中对应的测试ID,我们来证实一下:

@pytest.mark.parametrize(

'input, expected',

[(1, 2), pytest.param(3, 4, id='id_via_pytest_param')],

ids=['first', 'second'])

def test_ids_with_ids(input, expected):

pass

搜集到的测试ID如下:

collected 2 items

测试ID是id_via_pytest_param,而不是second;

讲了这么多ids的用法,对我们有什么用呢?

我觉得,其最主要的作用就是更进一步的细化测试用例,区分不同的测试场景,为有针对性的执行测试提供了一种新方法;

例如,对于以下测试用例,可以通过-k 'Window and not Non'选项,只执行和Windows相关的场景:

# src/chapter-11/test_ids.py

import pytest

@pytest.mark.parametrize('input, expected', [

pytest.param(1, 2, id='Windows'),

pytest.param(3, 4, id='Windows'),

pytest.param(5, 6, id='Non-Windows')

])

def test_ids_with_ids(input, expected):

pass

scope:声明argnames中参数的作用域,并通过对应的argvalues实例划分测试用例,进而影响到测试用例的收集顺序;

如果我们显式的指明scope参数;例如,将参数作用域声明为模块级别:

# src/chapter-11/test_scope.py

import pytest

@pytest.mark.parametrize('test_input, expected', [(1, 2), (3, 4)], scope='module')

def test_scope1(test_input, expected):

pass

@pytest.mark.parametrize('test_input, expected', [(1, 2), (3, 4)], scope='module')

def test_scope2(test_input, expected):

pass

搜集到的测试用例如下:

collected 4 items

以下是默认的收集顺序,我们可以看到明显的差别:

collected 4 items

scope未指定的情况下(或者scope=None),当indirect等于True或者包含所有的argnames参数时,作用域为所有fixture作用域的最小范围;否则,其永远为function;

# src/chapter-11/test_scope.py

@pytest.fixture(scope='module')

def test_input(request):

pass

@pytest.fixture(scope='module')

def expected(request):

pass

@pytest.mark.parametrize('test_input, expected', [(1, 2), (3, 4)],

indirect=True)

def test_scope1(test_input, expected):

pass

@pytest.mark.parametrize('test_input, expected', [(1, 2), (3, 4)],

indirect=True)

def test_scope2(test_input, expected):

pass

test_input和expected的作用域都是module,所以参数的作用域也是module,用例的收集顺序和上一节相同:

collected 4 items

1.1. empty_parameter_set_mark选项

默认情况下,如果@pytest.mark.parametrize的argnames中的参数没有接收到任何的实参的话,用例的结果将会被置为SKIPPED;

例如,当python版本小于3.8时返回一个空的列表(当前Python版本为3.7.3):

# src/chapter-11/test_empty.py

import pytest

import sys

def read_value():

if sys.version_info >= (3, 8):

return [1, 2, 3]

else:

return []

@pytest.mark.parametrize('test_input', read_value())

def test_empty(test_input):

assert test_input

我们可以通过在pytest.ini中设置empty_parameter_set_mark选项来改变这种行为,其可能的值为:

skip:默认值

xfail:跳过执行直接将用例标记为XFAIL,等价于xfail(run=False)

fail_at_collect:上报一个CollectError异常;

1.2. 多个标记组合

如果一个用例标记了多个@pytest.mark.parametrize标记,如下所示:

# src/chapter-11/test_multi.py

@pytest.mark.parametrize('test_input', [1, 2, 3])

@pytest.mark.parametrize('test_output, expected', [(1, 2), (3, 4)])

def test_multi(test_input, test_output, expected):

pass

实际收集到的用例,是它们所有可能的组合:

collected 6 items

1.3. 标记测试模块

我们可以通过对pytestmark赋值,参数化一个测试模块:

# src/chapter-11/test_module.py

import pytest

pytestmark = pytest.mark.parametrize('test_input, expected', [(1, 2), (3, 4)])

def test_module(test_input, expected):

assert test_input + 1 == expected

2. pytest_generate_tests钩子方法

pytest_generate_tests方法在测试用例的收集过程中被调用,它接收一个metafunc对象,我们可以通过其访问测试请求的上下文,更重要的是,可以使用metafunc.parametrize方法自定义参数化的行为;

我们先看看源码中是怎么使用这个方法的:

# _pytest/python.py

def pytest_generate_tests(metafunc):

# those alternative spellings are common - raise a specific error to alert

# the user

alt_spellings = ["parameterize", "parametrise", "parameterise"]

for mark_name in alt_spellings:

if metafunc.definition.get_closest_marker(mark_name):

msg = "{0} has '{1}' mark, spelling should be 'parametrize'"

fail(msg.format(metafunc.function.__name__, mark_name), pytrace=False)

for marker in metafunc.definition.iter_markers(name="parametrize"):

metafunc.parametrize(*marker.args, **marker.kwargs)

首先,它检查了parametrize的拼写错误,如果你不小心写成了["parameterize", "parametrise", "parameterise"]中的一个,pytest会返回一个异常,并提示正确的单词;然后,循环遍历所有的parametrize的标记,并调用metafunc.parametrize方法;

现在,我们来定义一个自己的参数化方案:

在下面这个用例中,我们检查给定的stringinput是否只由字母组成,但是我们并没有为其打上parametrize标记,所以stringinput被认为是一个fixture:

# src/chapter-11/test_strings.py

def test_valid_string(stringinput):

assert stringinput.isalpha()

现在,我们期望把stringinput当成一个普通的参数,并且从命令行赋值:

首先,我们定义一个命令行选项:

# src/chapter-11/conftest.py

def pytest_addoption(parser):

parser.addoption(

"--stringinput",

action="append",

default=[],

help="list of stringinputs to pass to test functions",

)

然后,我们通过pytest_generate_tests方法,将stringinput的行为由fixtrue改成parametrize:

# src/chapter-11/conftest.py

def pytest_generate_tests(metafunc):

if "stringinput" in metafunc.fixturenames:

metafunc.parametrize("stringinput", metafunc.config.getoption("stringinput"))

最后,我们就可以通过--stringinput命令行选项来为stringinput参数赋值了:

λ pipenv run pytest -q --stringinput='hello' --stringinput='world' src/chapter-11/test_strings.py

..                                                                     [100%]

2 passed in 0.02s

如果我们不加--stringinput选项,相当于parametrize的argnames中的参数没有接收到任何的实参,那么测试用例的结果将会置为SKIPPED

λ pipenv run pytest -q src/chapter-11/test_strings.py

s                                                                  [100%]

1 skipped in 0.02s

注意:

不管是metafunc.parametrize方法还是@pytest.mark.parametrize标记,它们的参数(argnames)不能是重复的,否则会产生一个错误:ValueError: duplicate 'stringinput';

本文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理

软件测试参数化的作用,Pytest之测试的参数化相关推荐

  1. 11、pytest -- 测试的参数化

    目录 1. @pytest.mark.parametrize标记 1.1. empty_parameter_set_mark选项 1.2. 多个标记组合 1.3. 标记测试模块 2. pytest_g ...

  2. 软件测试面试必看,资深测试工程师面试题集锦 全网首发

    全网首发,最牛的全套软件测试  ,自动化测试面试题,这些面试题都在文章末尾,有需要的可以自取 废话少说直接开始咱们今天的整体内容, 1.自我介绍? 我是谁.工作几年.你上家公司做什么.负责什么.你的优 ...

  3. 自动化测试框架Pytest使用mark和参数化固定装置、测试函数

    目录 一.常见的内置markers 二.查看所有markers 三.注册自定义marks 四.对未注册mark的限制 五. 参数化固定装置.测试函数 一.常见的内置markers usefixture ...

  4. 学习版pytest内核测试平台开发万字长文入门篇

    前言 2021年,测试平台如雨后春笋般冒了出来,我就是其中一员,写了一款pytest内核测试平台,在公司落地.分享出来后,有同学觉得挺不错,希望能开源,本着"公司代码不要传到网上去,以免引起 ...

  5. 【软件测试培训】了解jmeter分布式测试

    一提到分布式测试,大家肯定会觉得,哇!好高大上,一定很高深的吧,这里老师推出不做傻白甜系列文章,带同学们一步一步理解jmeter的分布式测试. 首先我们来看下jmeter自动化测试的流程 ,见如下图1 ...

  6. 【Java单元测试】如何进行单元测试、异常测试、参数化测试、超时测试、测试多线程

    Junit单元测试的步骤 (1)新建一个单元测试 (2)选择位置 (3)选择需要测试的方法 (4)是否将Junit 4添加到ClassPath中 (5)自动生成的测试类 (6) 然后就可以编写单元测试 ...

  7. pythontdd测试命名_荐Pytest之测试命名规则

    背景: pytest以特定规则搜索测试用例,所以测试用例文件.测试类以及类中的方法.测试函数这些命名都必须符合规则,才能被pytest搜索到并加入测试运行队列中. 默认搜索规则: 如果pytest命令 ...

  8. 找不到工作的测试员一大把,大厂却招不到优秀软件测试员?高薪难寻测试工程师。

    测试工程师招了快一个月了,实在招不到合适的,已经在被解雇的边缘了..." 初级测试工程师非常多,但真正掌握测试思维.能力强的优秀测试太少了! 据我所知, 当下的测试人员不少状态都是这样的: ...

  9. 软件测试基础知识bbst,海盗派测试分析MFQPPDCS海盗派.PDF

    海盗派测试分析MFQ&PPDCS海盗派.PDF ShareTesting, Share Learning! www.ShareTesting.Com 时长:2~3 天 海盗派测试分析: MFQ ...

最新文章

  1. EnterLib PIAB又一个BUG?
  2. 11月17日学习内容整理:jquery文档处理,事件细讲,动画
  3. Rider IDE恢复了对.NET Core调试的支持
  4. composer常用命令
  5. 集合(collection)
  6. java实现手机充电_java – 如何知道手机是否正在充电
  7. [BZOJ2958]序列染色
  8. 蹭着 Java 热点出生的 JavaScript 已经 22 岁了!
  9. 计算机快捷键大全列表6,快捷键大全excel
  10. luogu P4556 [Vani有约会]雨天的尾巴
  11. Excel 冻结窗格
  12. flvplayer.swfnbsp;flv视频播放器…
  13. 用PyQt5+Caffe+Opencv搭建一个人脸识别登录界面
  14. java哪个软件编程好学吗_java是什么软件好学吗(java编程用哪个软件)
  15. 求最小公倍数 java
  16. midjournery AI绘画使用指南
  17. 【react-native】编写原生模块给JS进行交互,一键加群的实现。
  18. 同构和异构经典图神经网络汇总+pytorch代码
  19. 智慧水利数字孪生案例分享:数字孪生水利,助力三峡科学防洪防汛
  20. AI呼叫中心市场现状研究分析-

热门文章

  1. PAT日志 1028
  2. 互联网时代,你从事的职业会被人工智能替代吗?
  3. 从等待顾客注册会员到寻找潜在会员,会员管理系统是如何治愈“守株待兔”
  4. NodeJS 文件操作 —— fs 基本使用
  5. MyBatisPlus:实现DAO的增删改查分页+属性设置,代码生成器(代码模板)
  6. NEB方法计算离子扩散路径和能垒(过渡态的计算)
  7. Oriented Response Networks 论文笔记
  8. win10可以上网但是网路连接显示小地球-解决办法
  9. trifecta_ui安装
  10. 赔1100万美元!谷歌招聘年龄歧视