如何从测试环境着手提高测试覆盖率

目录:

一、 被测对象模型分析 

二、被测对象的接口分析 

三、测试环境受限原因分析 

四、如何进行更全面的测试 

五、自动化协同测试 

测试覆盖率在测试活动中是一个至关重要的指标,充分的测试覆盖率可以发现被测对象的各方面问题,是产品质量信心最重要的支撑数据。然而在实际的测试中,经常受困于测试环境的限制,很多测试人员可以考虑到的业务场景却难以在测试环境中进行模拟,没办法全面测试覆盖,比如测试人员期望被测对象在某个时刻获得一个特定的错误信号或数据,但同被测对象交互的模块/系统在正常工作情况下产生不出这个特定的错误。由于测试环境的影响,测试活动很难从根本上提高测试覆盖率,不能有效降低产品在实际运营中的风险。

本文对被测对象的通用模型进行分析,找出测试环境受限的根本原因,进一步给出测试环境改进的一般性方法,并建议了一种在实际测试中可以高效改进测试环境提升测试覆盖率的解决方案。

一、被测对象模型分析

根据测试的产品不同,被测对象可能是一个物联网系统,可能是一个设备,可能是一个APP 或者一个网站等;根据测试的阶段不同,对象可能是一个软件模块,一块PCB 板,一个复杂系统中的子系统或者整个系统。



不论被测对象的规模大小,复杂程度,组成结构,所有被测对象都可以通过接口同外部世界(人或物)进行交互,对被测对象的测试过程也就是通过被测对象的接口同被测对象进行交互并判断和记录被测对象的行为是否同预期相一致的过程。 

二、被测对象的接口分析 

一个被测对象通常有多个接口与外部或其他模块(子系统)进行交互,比如网络接口,用户界面,传感器接口,通信接口等,这些接口进一步又可以分为输入接口和输出接口(有的接口既做输入又做输出)。对被测对象的黑盒测试就是根据需求模拟各种场景下对各个输入接口创造各种情形下的输入并对各个输出接口检查检查各种情形下的输出是否满足要求。

三、测试环境受限原因分析 

在日常的测试中经常遇到一些测试没条件没办法进行,深入分析原因,往往是因为测试环境的局限导致一些测试场景没办法模拟。


测试环境受限主要有下面几个原因:


1.被测对象界限不清晰

在一个产品研发过程中,不同阶段的测试被测的对象不同,对模块或子系统的设计进行测试,被测对象就是该子系统或模块,而不是整个系统。如果对模块或子系统测试时使用的是整个系统的环境,即同该模块或子系统的接口进行交互仍然是系统的真实模块,则会因为真实模块不能产生所需要的各种信号/事件/消息/数据,特别是各种异常的信号/事件/消息/数据,从而导致该模块的一些行为没有办法进行测试覆盖。

2.被测对象的测试依赖于外部模块或系统

在一些环境中被测对象的测试验证依赖于系统中的其他模块或其他系统,这种依赖关系一方面导致测试不能充分覆盖,另一方面导致测试的执行结果的可靠性受影响,如果外面模块或系统有变更,测试用例可能会受到影响,并且同样的测试用例在使用不同版本的外部模块或系统进行执行,结果也可能不同。

3.被测对象的外部模块或系统难以模拟

一些测试环境中使用的真实外部模块或系统,因为技术或项目时间和资源的原因,难以安排专门的技术人员来开发出相应的模拟模块或模拟系统。

四、如何进行更全面的测试 

 

如果需要对被测对象(系统,子系统,模块等)进行更全面的测试,需要在测试环境中对该被测对象的接口进行全面测试工具覆盖,然后通过操作这些工具来模拟接口所需要的输入并检查接口所产生的输出:

根据被测对象的接口特征,开发出(或使用第三方软件)可以同接口交互的软件作为测试工具。

隔离被测对象和外部真实模块或系统,使用测试工具代替外部真实模块或系统,同被测对象的各个接口进行交互。

测试人员配置并操作这些测试工具来完成业务功能的测试。对于输入型接口,配置测试工具产生所需要的各种输入信息;对应输出性接口,通过测试工具来检查接口的输出是否同期望信息相一致。

测试人员需要根据测试用例的要求,协同控制这些测试工具,完成所有场景下的测试。



不同的测试对象,所需要的测试工具不相同,在实际实施过程中,可根据产品的测试要求,合理选择需要使用测试工具进行交互的接口,选择的依据是产品对测试的要求和项目原因投入的代价。对于一些产品质量要求严苛的系统,需要将全部的真实外部模块或系统通过测试工具进行替换,从而在测试环境层面做的对各种测试场景的支持,提高测试覆盖率,最大程度减少产品在真实运行过程中可能产生更严重的影响和代价。



五、自动化协同测试 

如上一节中分析,对被测对象进行全面的测试覆盖需要从测试环境层面对被测对象的所有接口进行全面覆盖,然后进一步从测试

用例层面进行测试场景的覆盖,需要投入大量的技术资源和时间,对绝大多数项目来说,由于项目时间和资源的限制,往往难以做到全面的覆盖测试,一些风险隐患遗留在产品中。

采用协同自动化测试技术可以有效解决这个问题,下面介绍一个协同自动化测试解决方案(AnTestin),如下图所示:


AnTestin 平台(www.antestin.com)提供的协同自动化测试解决方案可以很多程度降低全面自动化覆盖测试所需要的时间和技术成本:

1.根据接口类型提供各种类型的接口覆盖测试工具(AntBot),不需要产品项目自己开发和维护。

2.提供支持协同自动化执行的测试用例,不需要测试人员手工协同操作这些接口覆盖工具(AntBot), 有效降低测试人员的执行时的工作强度,并大大缩短了测试的执行时间。

3.提供快速设计自动化测试用例的功能,不需要测试人员编写自动化测试脚本,有效降低测试场景覆盖所需要的时间。

采用协同自动化测试技术,可以极大程度降低进行全面接口覆盖测试所需要的代价,通过建立全面的自动化测试环境,测试人员可以集中精力进行测试场景的设计,从而提高整个测试的覆盖率,为产品质量提供保障和信心支撑。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,937评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,503评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,712评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,668评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,677评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,601评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,975评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,637评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,881评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,387评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,971评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2 342

推荐阅读更多精彩内容