pytest使用allure生成报告

Allure简介

官网：http://allure.qatools.ru/
Allure这个单词意思的引诱、唇膏的意思。别和买口红的网站搞混了。

Allure是一个开源的测试报告框架，由Qameta Software的测试团队主导开发。

工作原理

在测试执行阶段，会有一个适配器和测试框架打通，保存测试信息到xml文件中。Allure已经为Java, PHP, Ruby, Python, Scala and C# 等语言的测试框架提供了适配器。

在报告生成阶段，XML被转换成HTML文件。这一步可以使用命令行，也可以使用CI插件。官网也给出了很多example可以自行查看。

Pytest结合allure

环境准备

1 安装python插件allure-pytest。

pip install allure-pytest

这一步会安装 allure-pytest 和 allure-python-commons 这两个包。

2 下载安装allure命令行工具

下载地址： https://github.com/allure-framework/allure2/releases
官方文档：https://docs.qameta.io/allure/#_how_to_proceed

下载好后解压，然后到bin目录下，可以看到一个allure文件，和一个allure.bat文件。前者是给unix操作系统使用，后者是给windows使用。将 allure-2.13.3\bin 加到环境变量的系统路径中。

注意，allure命令行工具需要JRE支持，所以需要预先安装之。

前面的步骤完成后，打开cmd:

image.png

这样就算安装完成了。

生成报告

在执行pytest时，加上 --alluredir来enable allure的listener，同时也指定allure报告的存放位置：

pytest --alluredir=/tmp/my_allure_results

在执行测试之后，使用allure命令行来生成测试报告：

allure serve /tmp/my_allure_results

这一步会把生成的测试报告直接在浏览器中打开。

image.png

在allure的测试报告中，只有断言失败的用例才被判断为失败，其他的因异常失败的case会被归为broken:

import pytest

def test_success():
    """this test succeeds"""
    assert True


def test_failure():
    """this test fails"""
    assert False


def test_skip():
    """this test is skipped"""
    pytest.skip('for a reason!')


def test_broken():
    raise Exception('oops')

Allure报告的定制

Steps

使用@allure.step装饰器标记函数，可以在报告中生成对应的步骤：

import allure
import pytest

from .steps import imported_step


@allure.step
def passing_step():
    pass


@allure.step
def step_with_nested_steps():
    nested_step()


@allure.step
def nested_step():
    nested_step_with_arguments(1, 'abc')


@allure.step
def nested_step_with_arguments(arg1, arg2):
    pass


def test_with_imported_step():
    passing_step()
    imported_step()


def test_with_nested_steps():
    passing_step()
    step_with_nested_steps()

每一个步骤的状态都会以树状的结构显示出来：

image.png

另外，在fixture中也可以使用step装饰器，报告会在set up中显示fixture中的步骤。

附件

这个比较有用，比如一些截图，方便定位。

使用allure.attach(body, name, attachment_type, extension)方法即可：

body - 文件内容.
name - 文件名
attachment_type - 文件类型在allure.attachment_type中的映射值
extension - 扩展名(后缀)

也可以使用 allure.attach.file(source, name, attachment_type, extension):

source - 文件的路径

其他参数一致。

Allure支持的pytest特性

Xfail

如果一个case在某些场景期望是fail的，可以使用这个标签标记。

@pytest.mark.xfail(condition=lambda: True, reason='this test is expecting failure')
def test_xfail_expected_failure():
    """this test is an xfail that will be marked as expected failure"""
    assert False


@pytest.mark.xfail(condition=lambda: True, reason='this test is expecting failure')
def test_xfail_unexpected_pass():
    """this test is an xfail that will be marked as unexpected success"""
    assert True

这些会导致用例被跳过，并加上一个额外的标记来说明他们是期望失败的。

fixtures和Finalizers

Allure会自动跟踪每个fixture的调用，并详细显示调用了哪些方法和哪些参数，保留正确的调用顺序。