白盒测试基本要求
- 保证一个模块中的所有独立路径至少被执行一次;
- 对所有的逻辑值均需要测试真、假两个分支;
- 在上下边界及可操作范围内运行所有循环;
- 检查内部数据结构以确保其有效性。
测试覆盖标准
- 语句覆盖:是一个比较弱的测试标准,它的含义是:选择足够的测试用例,使得程序中每个语句至少都能被执行一次。
- 它是最弱的逻辑覆盖,效果有限,必须与其它方法交互使用。
- 判定覆盖(也称为分支覆盖):执行足够的测试用例,使得程序中的每一个分支至少都通过一次。
- 判定覆盖只比语句覆盖稍强一些,但实际效果表明,只是判定覆盖,还不能保证一定能查出在判断的条件中存在的错误。因此,还需要更强的逻辑覆盖准则去检验判断内部条件。
- 条件覆盖:执行足够的测试用例,使程序中每个判断的每个条件的每个可能取值至少执行一次。
- 条件覆盖深入到判定中的每个条件,但可能不能满足判定覆盖的要求。
- 判定/条件覆盖:执行足够的测试用例,使得判定中每个条件取到各种可能的值,并使每个判定取到各种可能的结果。
- 条件组合覆盖:执行足够的例子,使得每个判定中条件的各种可能组合都至少出现一次。
- 这是一种相当强的覆盖准则,可以有效地检
查各种可能的条件取值的组合是否正确。 - 它不但可覆盖所有条件的可能取值的组合,还可覆盖所有判断的可取分支,但可能有的路径会遗漏掉。
- 测试还不完全。
主要方法
- 逻辑驱动测试
- 语句覆盖
- 判定覆盖
- 条件覆盖
- 判定/条件覆盖
- 条件组合覆盖
- 路径测试
- 路径测试就是设计足够多的测试用例,覆盖被测试对象中的所有可能路径。这是最强的覆盖准则。
- 基本路径测试:设计足够多的测试用例,运行所测程序,要覆盖程序中所有可能的路径。但在路径数目很大时,真正做到完全覆盖是很困难的,必须把覆盖路径数目压缩到一定限度。例如程序中的循环体只执行一次。
语句覆盖
例1:
PROCEDURE M(VAR A,B,X:REAL);
BEGIN
IF ((A>1) AND (B=0)) THEN X:=X/A;
IF ((A=2) OR (X>1)) THEN X:=X+1;
END.
为使程序中每个语句至少执行一次,只需设计一个能通过路径ace的例子就可以了,例如选择输入数据为: A=2,B=0,X=3
从上例可看出,语句覆盖实际上是很弱的,如果第一个条件语句中的AND错误地编写成OR,上面的测试用例是不能发现这个错误的;又如第三个条件语句中X>1误写成X>0,这个测试用例也不能暴露它,此外,沿着路径abd执行时,X的值应该保持不变,如果这一方面有错误,上述测试数据也不能发现它们。
例2:
void DoWork(int x,int y,int z)
{ int k=0,j=0;
if((x>3)&&(z<10))
{ k=x*y-1; //语句块1
j=sqrt(k);
}
if((x= =4)||(y>5))
{ j=x*y+10; //语句块2
}
j=j%3; //语句块3
}
为了测试语句覆盖率只要设计一个测试用例就可以把三个执行语句块中的语句覆盖了。测试用例输入为:x=4、y=5、z=5,程序执行的路径是:abd
该测试用例虽然覆盖了可执行语句,但并不能检查判断逻辑是否有问题,例如在第一个判断中把&&错误的写成了||,则上面的测试用例仍可以覆盖所有的执行语句。
判定覆盖
例1:
如果设计两个例子,使它们能通过路径ace和abd,或者通过路径acd和abe,就可达到“判定覆盖”标准,为此,可以选择输入数据为:
① A=3,B=0,X=1(沿路径acd执行)
② A=2,B=1,X=3(沿路径abe执行)
例2:
如果设计两个测试用例则可以满足条件覆盖的要求。测试用例的输入为:
x=4、y=5、z=5【a b d】
x=2、y=5、z=5【a c e】
上面的两个测试用例虽然能够满足条件覆盖的要求,但是也不能对判断条件进行检查,例如把第二个条件y>5错误的写成y<5,、上面的测试用例同样满足了分支覆盖。
注意:程序中含有判定的语句包括IF-THEN-ELSE、DO-WHILE、REPEAT-UNTIL等,除了双值的判定语句外,还有多值的判定语句,如PASCAL中的CASE语句、FORTRAN中带有三个分支的IF语句等。所以“分支覆盖”更一般的含义是:使得每一个分支获得每一种可能的结果。
条件覆盖
一个判定中往往包含了若干个条件,如例1的程序中,判定 (A>1) AND (B=0)包含了两个条件: A>1以及 B=0,所以可引进一个更强的覆盖标准——“条件覆盖”。
例1的程序有四个条件:
A>1、 B=0、A=2、X>1
为了达到“条件覆盖”标准,需要执行足够的测试用例使得在a点有: A>1、A≤1、B=0、B≠0 等各种结果出现,以及在b点有: A=2、A≠2、X>1、X≤1 等各种结果出现。
现在只需设计以下两个测试用例就可满足这一标准:
① A=2,B=0,X=4 (沿路径ace执行)
② A=1,B=1,X=1 (沿路径abd执行)
对例2中的所有条件取值加以标记。
对于第一个判断:
条件x>3 取真值为T1,取假值为-T1
条件z<10 取真值为T2,取假值为-T2对于第二个判断:
条件x=4 取真值为T3,取假值为-T3
条件y>5 取真值为T4,取假值为-T4-
则可以设计测试用例如下
注意:
“条件覆盖”通常比“分支覆盖”强,因为它使一个判定中的每一个条件都取到了两个不同的结果,而判定覆盖则不保证这一点。
“条件覆盖”并不包含“分支覆盖”,如对语句IF(A AND B)THEN S 设计测试用例使其满足"条件覆盖",即使A为真并使B为假,以及使A为假而且B为真,但是它们都未能使语句S得以执行。
如对例2设计了下面的测试用例,则虽然满足了条件覆盖,但只覆盖了第一个条件的取假分支和第二个条件的取真分支,不满足分支覆盖的要求。
分支(判定)/条件覆盖
针对上面的问题引出了另一种覆盖标准——“分支(判定)/条件覆盖”,它的含义是:执行足够的测试用例,使得分支中每个条件取到各种可能的值,并使每个分支取到各种可能的结果。
- 对例1的程序,前面的两个例子
① A=2,B=0,X=4 (沿ace路径)
② A=1,B=1,X=1 (沿abd路径)
是满足这一标准的。 -
对例2,根据定义只需设计以下两个测试用例便可以覆盖8个条件值以及4个判断分支。
分支/条件覆盖从表面来看,它测试了所有条件的取值,但是实际上某些条件掩盖了另一些条件。
- 例如对于条件表达式(x>3)&&(z<10)来说,必须两个条件都满足才能确定表达式为真。
- 如果(x>3)为假则一般的编译器不在判断是否z<10了。对于第二个表达式(x==4)||(y>5)来说,若x==4测试结果为真,就认为表达式的结果为真,这时不再检查(y>5)条件了。
- 因此,采用分支/条件覆盖,逻辑表达式中的错误不一定能够查出来了。
条件组合覆盖
针对上述问题又提出了另一种标准——“条件组合覆盖”。它的含义是:执行足够的例子,使得每个判定中条件的各种可能组合都至少出现一次。满足“条件组合覆盖”的测试用例是一定满足“分支覆盖”、“条件覆盖”和“分支/条件覆盖”的。
- 再看例1的程序,我们需要选择适当的例子,使得下面8种条件组合都能够出现:
1) A>1, B=0 2) A>1, B≠0
3) A≤1, B=0 4) A≤1, B≠0
5) A=2, X>1 6) A=2, X≤1
7) A≠2, X>1 8) A≠2, X≤1
5)、 6)、 7)、8)四种情况是第二个 IF语句的条件组合,而X的值在该语句之前是要经过计算的,所以还必须根据程序的逻辑推算出在程序的入口点X的输入值应是什么。
下面设计的四个例子可以使上述 8种条件组合至少出现一次:
① A=2,B=0,X=4
使 1)、5)两种情况出现;
② A=2,B=1,X=1
使 2)、6)两种情况出现;
③ A=1,B=0,X=2
使 3)、7)两种情况出现;
④ A=1,B=1,X=1
使 4)、8)两种情况出现。
上面四个例子虽然满足条件组合覆盖,但并不能覆盖程序中的每一条路径,例如路径acd就没有执行,因此,条件组合覆盖标准仍然是不彻底。
- 现对例2中的各个判断的条件取值组合加以标记如下:
1、x>3,z<10 记做T1 T2,第一个判断的取真分支
2、x>3,z>=10 记做T1 -T2,第一个判断的取假分支
3、x<=3,z<10 记做-T1 T2,第一个判断的取假分支
4、x<=3,z>=10 记做-T1 -T2,第一个判断的取假分支
5、x=4,y>5 记做T3 T4,第二个判断的取真分支
6、x=4,y<=5 记做T3 -T4,第二个判断的取真分支
7、x!=4,y>5 记做-T3 T4,第二个判断的取真分支
8、x!=4,y<=5 记做-T3 -T4,第二个判断的取假分支
根据定义取4个测试用例,就可以覆盖上面8种条件取值的组合。
测试用例如下表:
上面的测试用例覆盖了所有条件的可能取值的组合,覆盖了所有判断的可取分支,但是却丢失了一条路径abe。
路径测试
-
对于例1,下面的测试用例则可对程序进行全部的路径覆盖。
-
对于例2,下面的测试用例则可对程序进行全部的路径覆盖。
基本路径测试
基本路径测试在程序控制图的基础上,通过分析控制构造的环行(圈,loop)复杂性,导出基本可执行路径集合,从而设计测试用例的方法。设计出的测试用例要保证在测试中程序的每一个可执行语句至少执行一次。 包括以下4个步骤和一个工具方法。
4个步骤:
- 程序的控制流图:描述程序控制流的一种图示方法
- 程序圈复杂度:McCabe复杂性度量。从程序的环路复杂性可导出程序基本路径集合中的独立路径条数。
- 导出测试用例:根据圈复杂度和程序结构设计用例数据输入和预期结果。
- 准备测试用例:确保基本路径集中的每一条路径的执行。
一个方法:
图形矩阵:是在基本路径测试中起辅助作用的软件工具,利用它可以实现自动地确定一个基本路径集。
控制流图的符号
在介绍基本路径方法之前,必须先介绍一种简单的控制流表示方法,即流图。
流图是对待测试程序过程处理的一种表示。
-
流图使用下面的符号描述逻辑控制流,每一种结构化构成元素有一个相应的流图符号。
流图只有二种图形符号
图中的每一个圆称为流图的结点,代表一条或多条语句。
流图中的箭头称为边或连接,代表控制流。
在将程序流程图简化成控制流图时,应注意:
在选择或多分支结构中,分支的汇聚处应有一个汇聚结点。
-
边和结点圈定的区域叫做区域,当对区域计数时,图形外的区域也应记为一个区域。
如果判断中的条件表达式是由一个或多个逻辑运算符 (OR, AND, NAND, NOR) 连接的复合条件表达式,则需要改为一系列只有单条件的嵌套的判断。例如:
1 if a or b
2 x
3 else
4 y
对应的逻辑为
独立路径
独立路径:至少沿一条新的边移动的路径
-
第一步:画出控制流图
流程图用来描述程序控制结构。
可将流程图映射到一个相应的流图(假设流程图的菱形决定框中不包含复合条件)。
在流图中,每一个圆,称为流图的结点,代表一个或多个语句。
一个处理方框序列和一个菱形决测框可被映射为一个结点,流图中的箭头,称为边或连接,代表控制流,类似于流程图中的箭头。
一条边必须终止于一个结点,即使该结点并不代表任何语句(例如:if-else-then结构)。
由边和结点限定的范围称为区域。
-
计算区域时应包括图外部的范围。
-
第二步:计算圈复杂度
圈复杂度是一种为程序逻辑复杂性提供定量测度的软件度量,将该度量用于计算程序的基本的独立路径数目。独立路径必须包含一条在定义之前不曾用到的边。
有以下三种方法计算圈复杂度:
- 流图中区域的数量对应于环型的复杂性;
- 给定流图G的圈复杂度V(G),定义为V(G)=E-N+2,E是流图中边的数量,N是流图中结点的数量;
-
给定流图G的圈复杂度V(G),定义为V(G)=P+1,P是流图G中判定结点的数量。
-
第三步:导出测试用例
根据上面的计算方法,可得出四个独立的路径。(V(G)值正好等于该程序的独立路径的条数。)
路径1:4-14
路径2:4-6-7-14
路径3:4-6-8-10-13-4-14
路径4:4-6-8-11-13-4-14
根据上面的独立路径,去设计输入数据,使程序分别执行到上面四条路径。
-
第四步:准备测试用例
为了确保基本路径集中的每一条路径的执行,根据判断结点给出的条件,选择适当的数据以保证某一条路径可以被测试到,满足上面例子基本路径集的测试用例是:
必须注意,一些独立的路径,往往不是完全孤立的,有时它是程序正常的控制流的一部分,这时,这些路径的测试可以是另一条路径测试的一部分。
工具方法:图形矩阵
- 导出控制流图和决定基本测试路径的过程均需要机械化,为了开发辅助基本路径测试的软件工具,称为图形矩阵的数据结构很有用。
- 利用图形矩阵可以实现自动地确定一个基本路径集。
- 一个图形矩阵是一个方阵,其行/列数控制流图中的结点数,每行和每列依次对应到一个被标识的结点,矩阵元素对应到结点间的连接(即边)。
- 在图中,控制流图的每一个结点都用数字加以标识,每一条边都用字母加以标识。
- 如果在控制流图中第i个结点到第j个结点有一个名为x的边相连接,则在对应的图形矩阵中第i行/第j列有一个非空的元素x。
对每个矩阵项加入连接权值,图矩阵就可以用于在测试中评估程序的控制结构,连接权值为控制流提供了另外的信息。最简单情况下,连接权值是 1(存在连接)或0(不存在连接),但是,连接权值可以赋予更有趣的属性:
1. 执行连接(边)的概率。
2. 穿越连接的处理时间。
3. 穿越连接时所需的内存。
4. 穿越连接时所需的资源。
连接权为“1”表示存在一个连接,在图中如果一行有两个或更多的元素“1”,则这行所代表的结点一定是一个判定结点,通过连接矩阵中有两个以上(包括两个)元素为“1”的个数,就可以得到确定该图圈复杂度的另一种算法。