自动化测试系统是现代大型软件的必备设施,通用CAE仿真软件由于功能复杂,维护时间长,对计算结果要求高,因此必须要有自动化测试系统来维护产品的鲁棒性与精确性。除了测试系统以外,海量的测试算例也是重要的知识资产,需要投入大量的开发资源。笔者曾详细介绍了CAE软件的自动化测试相关内容,参见《快速创建WELSIM的回归测试算例》、《大型工程仿真CAE软件的自动化回归测试》二文。本文着重介绍运行工程仿真CAE软件的自动化测试。
目前市面上的大型CAE软件不公开自动化测试系统,只提供给内部研发人员使用,终端用户无法使用测试系统。WelSim是世界上目前唯一一款开放自动化测试系统并开源算例的通用CAE软件,因此本文只能使用WelSim作为演示。
软件启动后,在图形化界面的菜单栏或工具栏中找到自动化测试的命令。
并点击运行测试命令后,提示选择要添加的测试文件。
目前测试文件的读取支持xml和wstb两种格式,xml是具体的单个测试文件,wstb可以包含多个测试的文件。如下图所示,wstb本质上是xml测试文件的集合。
读取测试文件后,会显示测试主界面。如果在上一步选择了有效的测试文件,主界面会列表显示测试案例。测试主界面功能较多,这里分为4个区域分别说明。
区域1占据了大部分界面,便于显示大量的测试算例。用户可以勾选或取消将要运行的算例。每个算例都有一个进度条,用于显示当前测试的进度。每个算例有一个测试结果,测试通过会以绿色背景显示Success,测试失败会以红色背景显示Failed。
区域2显示鼠标右键点击弹出菜单,提供了如勾选全部、取消全部、删除全部、保存测试文件等常用功能。弹出菜单的位置不固定,取决于鼠标点击位置,通常是空白区域。
区域3显示一些必要按钮,如单个测试完成后删除项目,添加算例,删除算例,保存测试文件等功能。系统默认是在每个测试结束后关闭当前项目,用户可以通过点击此按钮更改,测试完成后就不会关闭项目,此时可以手动保存项目为wsdb文件。当算例测试失败时,此功能方便测试人员查找原因。保存测试按钮可以保存当前测试失败的算例,方便用户在修复问题后再次运行。
区域4在主界面底部,提供了运行测试的关键按钮,用户可以运行,暂停,或停止测试。默认测试每步的时间为100毫秒,用户可以更改。同时支持显示测试日志。
测试的时间取决于算例的多少以及每个算例的大小。快速测试通常在10分钟内完成。长期测试通常在15个小时内完成。测试全部通过时,可以认为产品当前状态是相对稳定的。当测试发现失败的算例,可以再次单独运行此算例,并查明原因。对软件或测试文件进行相应的更新。
测试文件格式
XML文件简单直观、易于阅读,同时具有较好的机器读写性能。适合作为自动化测试文件格式。下图给出了一个简单CAE结构仿真分析的测试文件。
按照编号,将文件分为了7个部分,分别是:
选择单位制。
新建项目,新建一个立方体,并划分网格。
添加一个固定边界条件,选择一个面。
添加一个压力边界条件,选择一个面,并设置压力值。
求解。
添加一个位移结果,读取并验证结果。
添加一个应力结果,读取并验证结果。
文件中每个单元含有三个属性,分别是object, command, 和arguments。object用于定位GUI相关的QT控件,与软件产品中的控件名称一一对应。command有激活(activate),设置当前(setCurrent)等选项。arguments定义额外的参数,如表格的行与列,边界的选择,数值,按键值等。
单元类型有两类,wsevent用于进行事件驱动,也就是执行每一步操作。wscheck用于验证某项数值,工程仿真软件需要保证计算结果的准确性,wscheck单元来完成这个任务。当然在执行wsevent的各种操作时,也对软件控件有大量检测,用于发现如程序崩溃,内存泄露等软件缺陷。
行为与局限
运行WelSim的自动化测试需要添加环境变量WELSIM_DATA_ROOT至测试算例文件夹。测试案例包中已做说明。
自动化测试只能检测算例已经覆盖的功能,因此需要随着CAE软件的发展不断的维护和增加算例,是一个长期的过程。WelSim开放了测试系统并开源测试算例,求解器等后端应用的开发者们无需创建自己的自动化运维系统,可以直接添加测试算例来保证后端应用的精度与稳定性。
WelSim自动化测试系统是基于软件本身的,在软件启动以后才能进行测试。而有的大型软件测试框架是独立的进程,通过进程间通讯来对目标软件进行测试。这两种测试框架都是可行且有效的,开发者可以根据软件特点和自身的技术栈进行选择。
自动化测试文件可以不局限于XML格式,根据软件构架的不同,和测试需求的不同,可以是Python或JavaScript等其他解释型语言格式,都有各自优点。
当前WelSim的测试框架,不保存测试结果,在以后的版本中可能支持测试结果的保存。结果可以通过网页显示,并支持历史测试数据的查找。便于产品的长久维护。