【落叶156】《测试路上你问我答》(21)测试报告和质量报告应该如何区分?

文/秋之川

【目录】

这是《落叶》文集里第 156 片落叶,希望你能喜欢,不为别的,只为这份坚持。

【背景】

前天,有个同学问了我一个基础问题,软件测试报告跟回归测试报告有何区别?测试细则又是什么呢?如果简单说来,软件测试报告你可以理解成一个统称,而回归测试报告只是其中一个子项。而测试细则,按我的理解,它其实是测试计划里的具体测试策略和步骤,是用于执行参考的,如果把它放到测试报告中,那应该就是表示测试的执行步骤和细节。而在实际的项目中,大家真正容易混淆分不清的其实是“测试报告”和“质量报告”。

【你问】

测试报告和质量报告应该如何区分?

【我答】

开篇先简单再补充回答一下背景中的问题,如果把软件测试报告定义成狭义的一种报告的叫法,那它就是每个项目在完成所有测试,准备发布上线时,由测试部门出具的一份测试报告,运维部门以此为上线活动的开始标志,我之前的公司就是如此,US 的 Release Manager 不收到测试部门(QA)发出的 QA Release Report,她是不会发出 Engineer Release Report 的。

而回顾测试报告,其实可以理解成是跟每个测试包一一对应的回归测试总结,在很多公司,包括我之前那家公司,其实就是 Daily Project Report 中的一项内容,并没有出具单独的报告。

言归正传,想问问你,能分的清测试报告和质量报告吗?你知道应该如何去区分它们吗?

你也许会跟我说,你当然能分的清楚,毕竟都做了这么多年项目了。

可我如果真的让你去写一份测试报告,可能你就会不那么清楚了,你可能会详细的罗列出项目中的所有测试环节、步骤、方法,发现的所有缺陷,以及缺陷产生的原因和分析,在各个环节中遇到的问题,甚至于你会把因为开发自测质量不高而导致需求提测时间延迟的问题也罗列其中,诸如此类的测试数据和问题分析混杂在一起,洋洋洒洒几十页,这是我们常见的一份“漂亮”且“充实”的测试报告。

我先不对这种报告做任何正确与否的评判,因为我一直认为,很多东西都没有明确的对错之分,有的只是是否适用于当下的场景。

还是让我先说说我是依据什么将测试报告和质量报告区分开来的,然后,我们再回过头来看看上述报告是否合适吧。

1、报告的阅读对象决定了这两种报告本质上的区别:

测试报告,阅读对象主要为负责产品版本发布的经理,在我之前的公司,职位名称叫 Release Manager,他阅读这份报告的目的是想从其中获取到相应版本的质量,是否已经达到了可发布的标准,Pass, Faile or Pass with Risk,我们完成了哪些测试工作,当前遗留的未解决 Bug 有多少,已知问题有哪些等等,当然,他也需要从这份报告中了解到这个版本有哪些需求和改动;

质量报告,阅读对象主要为负责产品研发的经理,在一些规模很大的企业,还有一个岗位的人员会看这份报告,那就是 EPG,他们阅读这份报告的目的是想从罗列的问题和原因分析中找到所有可以改进的点,有可能是流程上的,也有可能是技术方法上的,当然,也可能就是人的问题,总之,他们就是想通过这份报告里的问题,找到可改进的地方,然后对其进行有计划地、循序渐进的改进。

我们再回到前文提到的那个“混合型”的报告,你现在应该能告诉我,它是否是一份合适的报告了吧?

对于产品研发经理或者 EPG 来说,要么就是对版本需求和改动很熟悉了,要么就是只关注整个研发过程,并不关注产物本身的,你在报告里花大量篇幅罗列了需求和改动,没有任何意义。

对于发布经理来说,我只想你告诉我,当前质量是否能发布了,其他的问题都是你们研发过程或者研发团队的问题,我不关心(如果站在产品研发团队的经理角度来说,那些研发过程或研发团队的问题其实都是“家丑”,那你觉得该“外扬”吗?)

2、报告的编写人角色决定了这两种报告直观上的区别:

测试报告编写人是测试经理或测试项目负责人;

质量报告编写人是 QA,在 QA 由测试兼任的公司,也是由测试经理或测试负责人编写(我之前所在的外企就把测试和 QA 的职责合在一个岗位里,叫做 QA)

3、最后,我列出一些我认为在两种报告中较为关键的条目,但可以因地制宜,不全是必选项。

测试报告:

1、版本信息:包括所有发布组件的名称和版本号;

2、依赖关系:所有组件之间的依赖关系,是强依赖,还是弱依赖,如果有依赖关系,就一定要说清楚上线的部署顺序和原因,以免出现问题;

3、测试环境配置:包括服务器的系统版本、中间件的版本、数据库的版本、客户端的浏览器类型/版本,OS 类型/版本等等;

4、已完成的测试范围、类型和方法,包括结果,如果做了性能测试,附上性能测试结果,如果做了安全测试,附上 APPScan 的扫描结果,如果执行了手工用例,附上用例的 Run Infomation 等等;

5、测试结论:版本发布的标准是什么?依据标准,该版本是否已经可发布,如果不可发布,原因是什么?如果是可带着风险发布,那风险有哪些?

6、已知问题清单:该版本截止到发布日期,还有哪些是未在当前版本得到修复的仍然存在的缺陷;

质量报告:

1、同类型项目的历史质量数据比对;

2、当前版本的质量期望目标;

3、经过统计分析过的缺陷分布图和缺陷修复曲线图;

4、针对过程中遇到的问题,所做的 3W 分析:

   4.1 What's the problem?

   4.2 What's the root cause?

   4,3 What's the solution?

5、针对当前版本的质量问题(数据的和过程的)所作的总结分析和改进建议;

《测试路上你问我答》里的 Q&A 21,如果是你要的,甚好!如果不是,你问,我答!

作者简介:14 年测试 + 11 年项目管理 + 11 年团队管理 = 一个测试老兵

【目录】

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,980评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,178评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,868评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,498评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,492评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,521评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,910评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,569评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,793评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,342评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,931评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2 342

推荐阅读更多精彩内容