【软件测试】一直存在于测试行业的几个误解,你是否是其中之一呢

我认为,关于这些实践的许多主张缺乏实际项目经验,很 难让人相信他们的观点。事实上,当我们把这些非常严格的测试实践应用于大型项目上时,通常它们根本无法顺利工作。

在本文中,我将说明一些关于测试的常见误解。我希望,如果你在编写测试时也存在这样的误解,那么本文能帮助你和你的团队来判断何时适合测试,何时不适合测试。

测试可以表明我的代码是正确的

虽然这种误解在直觉上是正确的,但是你确实无法依赖测试来建立任何形式的具有严格正确性的标准。每当你编写了一个测试,你就已经测试了程序中的 一种可能情况。

当程序中存在许多单元时,或许存在无限多种(或是多得难以应付的)可能的情况需要测试时,那么测试所有可能情况是不可行的。因此,典型的对 策是测试一些出错情况、边界情况以及若干恰好确保一切正常的常规情况。

如果你的目标是正确性,那么上面谈到内容还远不足以满足要求。尽管程序仍存在许多bug,但是开发一套总是可以通过的测试还是相当容易的。

然而 有些bug根本不可能通过测试检查出来,其中竞争条件和包括并发性在内的其他错误都是经典的例证,即使你已经对调度程序进行控制,然而可能的交错操作的数 量增长是如此之快,以至于可靠地测试很快成为了不可能完成的任务。

因此,测试无法展示所有情况下的正确性,除非是在最普通的情况下,那样我们可以在测试中完全指定程序单元的行为。

对于这些普通情况,往往不值得 从一开始就编写测试;之所以说这些情况实在是太普通了,是因为我们所要测试的代码本身就是微不足道的!

通过为那些微不足道的代码片段编写测试只完成了一件 事,那就是增加维护开销,并且为测试机增加工作量。

既然测试也只是一些代码,那么在你的测试中同样可能存在bug。如果编写测试与编写代码的是同一个人,那么他们往往可能错误地实现一个程序单元,然后编写一个确保那个错误行为能够通过的测试。此问题的根源在于开发者误解了规格说明,而不是实现过程中犯下的小错误。

如果你确实需要保证正确性,那么请对你的代码进行形式化验证(目前的验证工具要比过去好得多)。如果你不需要保证正确性,那么编写测试就可以了。须牢记,编写测试的作用就如同烟雾报警器对于火灾的作用一样,其实它并不能检测出各种各样的问题。

测试是可执行的规格说明

基于以下几个原因我认为这个观点是错误的。先来看看在我的字典里规格说明的定义:

一组需求,用于界定对于某一对象或过程的准确描述。

因此,如果我的代码符合规格说明的要求,那么它就应该是完全正确的,因为规格说明准确界定了代码的行为。如果说我的测试是规格说明,那么必须进而证明测试的正确性。正如我们已经讨论过的,测试并没有做这样的事情,因此测试不是规格说明。

让我们看下实际情况,假设一名开发者通过阅读测试用例可以推断出某个函数的预期行为,然后引入一大堆含混不清的测试用例;如果测试用例不够全面,那么我们可能最终推断出错误的结论,有时可能与预期行为仅有细微差别。

此外,对于测试用例并未进行一致性检查。也就是说,由于开发者失误或误解,因此你的测试可能实际指定了一个非预期的行为。这可能会导致在你的测试中出现一些矛盾,因此也可以说你的规格说明中出现了矛盾。

随机测试软件,例如QuickCheck,会让编写测试的工作变得非常简单,就像本应包含的布尔属性一样,而且该软件会为你生成测试用例。该软件使得测试更接近于可执行的规格说明,不过它仍然不会对属性进行一致性检查。

测试会让我们拥有良好的设计

当让一个糟糕的设计可以测试时,此设计仍然具有改进的可能,因此测试不是优良设计实践的替代品。

当为系统接口编写大量的测试时,实际上是增加了 开发者投入在那些接口上的工作投资。当这些接口不再是最佳选择时问题就会随之产生,即开发者已经为那些接口编写了大量测试。

改变接口也就意味着改变所有与 之配套的测试。由于测试与那些接口紧密耦合在一起,因此其中大多数测试将必须被废弃并重写。

既然大多数开发者的成长依附于他们所从事的工作,这会导致在项 目的生命周期中对于那些次优的设计决策踌躇不前,尽管那些决策不是最适合的。

在这里给出的解决方案是,只有在你编写了一系列原型之后再开始着手测试。这样你就不必为测试那些可能在稍后会被大量重构的代码而焦虑。

对于开发 者和测试机而言,所做的一切都是在增加工作量,而且当需求或接口改变时,开发者必须销毁数小时的工作成果,这会使他们更心痛。而如果你不等待而进行了测 试,那么你的测试实际上会导致糟糕的设计,因为开发者将不愿进行任何重大的重构。

此外,让代码可以测试很困难。通常人们仅仅为了让测试更加容易而采用有问题的设计决策;尝试大量模拟接口实现,或者是编写具有大量代码的测试用例,以至于测试用例代码本身几乎也需要测试,这些做法都暴露出对于抽象的泄漏(mock对象和stub往往会经受此问题的折磨)。

测试会让更改代码更容易

测试并不总是让更改代码更容易,然而,如果你正在对底层接口实现进行修改,那么测试可以帮助你捕获新实现中的功能衰退或非预期的行为。

如果你正 在对程序的更高层次结构进行修改,然而这种对立的情况则是更普遍的现象。测试通常与更高层次接口紧密耦合。改变这些接口就意味着重写测试。

在那种情况下, 你让自己活得很辛苦你将必须重写那些测试,从而给自己增加了更多的工作,而且之前的旧测试对于确保你没有引入功能衰退而言无能为力,这意味着测试根本帮不 上忙。

所以,不写测试?

我没有说你不应该编写测试。对于提高信心以及阻止软件功能衰退而言,测试是一种有价值的方式。然而,测试无法统一带来优良的设计、正确性、技术规格说明或者轻松地重构,至于原因如上所述。过度使用测试会让开发变得*更难*而不是更容易。

同样,根本不验证代码会让质量保证无从谈起,不过会让快速构建原型更轻松。测试在质量保证与灵活性之间引入了一个权衡问题,所以我们必须在二者之间做出适当的妥协。

end

推荐阅读:

【软件测试】测试工程师应该如何设计一个完整的测试用例呢?

【软件测试】八年测试经验测试总监浅谈 bug 的那点事~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容

  • 文章来自:http://blog.csdn.net/mj813/article/details/52451355 ...
    好大一只鹏阅读 9,187评论 2 126
  • 1.测试与软件模型 软件开发生命周期模型指的是软件开发全过程、活动和任务的结构性框架。软件项目的开发包括:需求、设...
    宇文臭臭阅读 6,711评论 5 100
  • 1.测试与软件模型 软件开发生命周期模型指的是软件开发全过程、活动和任务的结构性框架。软件项目的开发包括:需求、设...
    Mr希灵阅读 21,928评论 7 278
  • 用两张图告诉你,为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料? 从这篇文章中你...
    hw1212阅读 12,691评论 2 59
  • 坚持日更到现在(2018.06.17)68天,中间有两天中断,一天2018.06.08日,写作时间修改了妻子的处女...
    坤道率然阅读 223评论 0 4