2.2.2 白盒测试
另一种测试策略称为白盒测试或称逻辑驱动的测试,允许我们检查程序的内部结构。这种测试策略对程序的逻辑结构进行检查,从中获取测试数据(遗憾的是,常常忽略了程序的规范)。
在这里我们的目标是针对这种测试策略,建立起与黑盒测试中穷举输入测试相似的测试方法。也许有一个解决的办法,即将程序中的每条语句至少执行一次。但是我们不难证明,这还是远远不够的。这种方法通常称为穷举路径测试,在本书第4章中将进一步进行深入探讨,在这里就不多加叙述。所谓穷举路径测试,即如果使用测试用例执行了程序中所有可能的控制流路径,那么程序有可能得到了完全测试。
然而,这个论断存在两个问题。首先,程序中不同逻辑路径的数量可能达到天文数字。图2-1所示的小程序显示了这一点。该图是一个控制流图,每一个结点或圆圈都代表一个按顺序执行的语句段,通常以一个分支语句结束。每一条边或弧线表示语句段之间的控制(分支)的转换。图2-1描述的是一个有着10~20行语句的程序,包含一个迭代20次的DO循环。在DO循环体中,包含一系列嵌套的IF语句。要确定不同逻辑路径的数量,也相当于要确定从点a~点b之间所有不同路径的数量(假定程序中所有的判断语句都是相互独立的)。这个数量大约是1014,即100万亿,是从520+519……+51计算而来,5是循环体内的路径数量。由于大多数的人难以对这个数字有一个直观的概念,不妨设想一下:如果在每五分钟内可以编写、执行和确认一个测试用例,那么需要大约10亿年才能测试完所有的路径。假如可以快上300倍,每一秒就完成一次测试,也得用漫长的320万年才能完成这项工作。
当然,在实际程序中,判断并非都是彼此独立的,这意味着可能实际执行的路径数量要稍微少一些。但是,从另一方面来讲,实际应用的程序要比图2-1所描述的简单程序复杂得多。因此,穷举路径测试就如同穷举输入测试,非但不可能,也是不切实际的。
“穷举路径测试即完全的测试”论断存在的第二个问题是,虽然我们可以测试到程序中的所有路径,但是程序可能仍然存在着错误。这有三个原因。
第一,即使是穷举路径测试也决不能保证程序符合其设计规范。举例来说,如果要编写一个升序排序程序,但却错误地编成了一个降序排序程序,那么穷举路径测试就没多大价值了;程序仍然存在着一个缺陷:它是个错误的程序,因为不符合设计的规范。
第二,程序可能会因为缺少某些路径而存在问题。穷举路径测试当然不能发现缺少了哪些必需路径。
第三,穷举路径测试可能不会暴露数据敏感错误。这样的例子有很多,举一个简单的例子就能说明问题。假设在某个程序中要比较两个数值是否收敛,也就是检查两个数值之间的差异是否小于某个既定的值。我们可能会这样编一条Java语言的IF语句:
当然,这条语句明显错了,因为程序原意是将c与a-b的绝对值进行比较。然而,要找出这样的错误,取决于a和b所取的值,而仅仅执行程序中的每条路径并不一定能找出错误来。
总之,尽管穷举输入测试要强于穷举路径测试,但两者都不是有效的方法,因为这两种方法都不可行。那么,也许存在别的方法,将黑盒测试和白盒测试的要素结合起来,形成一个合理但并不十分完美的测试策略。本书的第4章将深入讨论这个话题。