一个优秀的软件系统不单单具有良好的功能,还需要有过硬的性能,一个只通过功能测试的系统,只能称之为“可用”,而不能算是“好用”。当然,性能测试需要基于功能测试,只有系统功能稳定了,性能测试才有意义。性能测试主要包含两个特性:时间和资源。时间指系统处理客户请求的时间,主用用响应时间和吞吐量来衡量,而资源则是指测试过程中系统资源消耗情况,最常受关注的资源包括CPU、内存、磁盘。
性能测试方法主要包括:性能测试、配置测试、并发测试、负载测试、压力测试、稳定性测试。
- 性能测试:测试环境和测试目标确定的情况下,测试系统是否达到宣称的能力;
- 配置测试:系统具有一定的测试基础时,通过修改环境配置,例如服务器参数等,对比之前的测试结果进行优化;
- 并发测试:模拟多个用户并发使用系统,测试系统是否存在死锁、内存泄漏等问题。
- 负载测试:逐渐向系统添加压力,观察系统资源消耗情况,知道某一项资源达到极限。一般用于度量系统的性能容量,寻找系统瓶颈为系统调优提供数据;
- 压力测试:系统承受一定的压力的情况下,测试系统是否会出现错误。系统压力包括CPU、内存、磁盘、网络等方面的压力,施加压力的方法包括利用工具占用系统资源、增加并发量等;
- 稳定性测试:系统承受一定压力的情况下,运行一段时间,测试系统是否平稳运行;
个人以为,这几种测试方法是相辅相成的, 一种测试方法中可能借助另一种测试方法,例如在进行负载测试、压力测试或稳定性测试时,会使用并发测试方法。另外,几种测试方法之间的界定也比较模糊,当负载测试的压力较大时,可以看作是压力测试,当压力测试的时间较长时,可以看作是稳定性测试。性能测试的主要目标是测试、评估软件系统的性能,获取软件系统的参数指标,并协助开发进行调优。不管哪种测试方法,最终目的都是为了提高系统质量,那么根据测试目标和系统特性选用适合的测试方法即可。
性能测试需要借助测试工具,毕竟完全依靠手工进行性能测试需要付出很大的代价,不仅是人力成本和经济成本,还有时间成本。测试工具的使用不仅能够提高测试效率,还可以弥补手动测试难以捕获的一些问题。
Loadrunner简介
Loadrunner是HP公司提供的一款性能测试工具,通过模拟成千上万个用户实施并发操作,测试系统的性能,并且提供详细的测试结果分析,协助用户查找问题。Loadrunner的优势在于节约了人力成本和时间成功,纯人工进行并发测试,不仅需要大量的人手和机器,还需要测试人员进行充分的沟通,默契的进行操作。使用Loadrunner就可以一个人模拟上万个用户,压缩了成本,也提高了效率。
Loadrunner的主要组件包括:
- Virtual User Generator:捕捉用户业务流程,并且自动生成脚本;
- Controller:设计场景,主要包括设置不同脚本的虚拟用户数量、迭代次数、执行时间等;
- Load Generator:模拟用户向服务器发送请求;
- Analysis:分析测试结果,辅助测试人员进行测试分析;
Loadrunner11安装
初次接触的是Loadrunner12版本,相对而言比11版本的界面更美观,可用性更强,对高版本浏览器的兼容性也更好。奈何目前还没有破解版,vuser最大支持50,于并发测试而言是绝对的硬伤。于是转战Loadrunner11。网上Loadrunner11安装破解教程很齐全,以下便是参照网上的教程安装的记录。
1、下载安装软件
https://pan.baidu.com/s/1i51a3HV
2、解压下载好的ios文件
3、双击setup.exe,按照提示一步一步安装
4、下载破解文件
http://pan.baidu.com/s/1eS7SmD8
5、将“lm70.dll”和“mlr5lprg.dll”文件复制到loadrunner安装目录下的bin目录下
6、点击“CONFUGURATION—>loadrunner license”,点击“New License”,输入“AEAMAUIK-YAFEKEKJJKEEA-BCJGI”,可能会遇到报错“License security violation,operation is not allowed..”。
需要点击破解文件中的deletelicense.exe,随后重新执行上述步骤
7、添加new license,输入AEABEXFR-YTIEKEKJJMFKEKEKWBRAUNQJU-KBYGB,完成!
Loadrunner11录制脚本
1、打开loadrunner11,点击“Create/Edit Script”启动Virtual User Generator。点击File--new,创建脚本文件,选择Web(HTTP/HTML)协议。
[图片上传失败...(image-991c3e-1523440883813)]
2、Loadrunner默认使用IE浏览器,在此我选用火狐浏览器,但是由于Loadrunner11对浏览器版本的要求较为严苛,因此需要下载安装火狐24版本。(下载链接:http://ftp.mozilla.org/pub/firefox/releases/)
3、以loadrunner自带的订票系统为例,Program to record填写火狐浏览器的路径,Program arguments填测试系统的URL,working direction为文件保存路径,自定义即可。填写完成后点击OK,火狐浏览器自动启动并打开订票系统。
4、首先录制注册用户,按照正常的注册流程,填写用户信息后,登出,并关闭浏览器。点击stop按钮,脚本生成后保存。
5、生成的脚本只能注册某个用户,不具备通用性,为了使脚本更具通用性,我们需要将某些变量参数化。
参数
1、每个用户的用户名是不一样的,且不能重复的。首先用参数替换用户名,右击用户名value--点击Replace with a parameter,输入参数名称“username”--点击properties。
2、参数类型有很多种,在此用户名参数选择File类型,点击Create Table创建文件。
3、文件创建好了,点击Edit with Notepad,使用excel下拉创建20个用户复制到username.dat中,保存后可以看见这20个用户。File数据库文件默认只看到100个值,如果想使用更多值,请修改“安装目录/config/vugen.ini”中的[ParamTable]属性下的MaxVisibleLines。
Select column的方式默认选择“By number”,并且number为1,即选择第一列参数。当然也可以选择By name,选择变量参数名称即可。“Select next row ”设置参数取值方式,由于用户名不能重复在此取值方式选择Unique。
- Sequence:按照顺序依次取值;
- Random:随机取值;
- Unique:唯一取值,为每个虚拟用户分配一条唯一的数据;
- Same line as ***: 当多个参数时,取某一个参数的同一行;
"Update value on"设置参数更新周期,主要有以下三种更新周期,在此选择每次迭代更新。
- Each iteration :每次迭代时更新参数的值 ;
- Each occurrence :每次使用该参数时更新参数的值;
- Once :执行脚本只取一次值,中途不更新参数的值;
当选择取值方式为Unique时,需要额外设置“When out of value”和“Allocate vuser values in the controller”。其中“When out of value”设置dat文件中的值个数不够时的处理方式,主要有以下几种方式,我们选择“”
- Abort Vuser:放弃剩下虚拟用户,不再取值;
- Continue in a cyclic manner: 以循环的方式,重新从开头取值;
- Continue with last value:当dat文件中的值取完后,持续取最后一个值 ;
“Allocate vuser values in the controller”:设置在controller中并发迭代执行脚本时,为每个vuser分配的参数块大小,选择“Automatically allocate block size”,系统会以迭代次数作为参数块大小,为每个vuser分配参数。例如dat文件中有50个username,当迭代次数为5,vuser个数为8时,会将Test1Test5分配给vuser1,Test6Test10分配给vuser2,以此类推。当dat文件中的值不足时,例如迭代次数为6,vuser个数为9时,最后一个vuser只分配到了2个值,值不足时会根据“When out of value”设置的方式处理,但是仅在块内取值,即只能循环取这两个值。“Allocate ** values for each Vuser”顾名思义就是手动设置参数块大小。
“Automatically allocate block size”方式的优点是方便,不需要根据场景反复编辑脚脚本,缺点就是dat文件中的值个数不够时,vuser分配不到值会报错。而手动设置的优点就是人为控制出错较少,但是每次都需要修改脚本,比较麻烦。
4、双击password的value,点击Replace with a parameter,输入参数名称“passwd”--点击properties,依旧选择File类型参数,点击Browse选择之前创建的文件username.dat,点击“Add column”添加列“passwd”。与之前方式一致,输入50个password值,取值方式设置为“Same line as username”,确保用户名与密码一一对应。
5、密码确认这一栏输入的值需要与密码保持一致,双击passwordConfirm的value,选择“use existing parameter”--passwd。
6、firstname、lastname等其他变量安照类似的方式设置即可。执行脚本,在loadrunner11安装目录\WebTours\MercuryWebTours\users目录下可以看见生成的用户信息。下面利用controller批量注册这20个用户。
插入事物
1、插入事物是为了更好的衡量服务器的性能,可以在录制脚本的时候,在某个操作前插入事务开始点,该操作完成后插入事务结束点。当然,录制好的脚本也可以插入事务,以本脚本为例,将注册请求定义为一个事务。在“web_submit_data("login.pl_2" ”函数前插入事务开始点,右击鼠标——Insert——Start Transaction,输入事务名称register。
采用相同方式在函数下方插入事务结束点,右击鼠标——Insert——End Transaction,输入事务名称register。
2、点击“Run Load Tests”启动controller,设置新场景,选择需要使用的脚本,可以是一个或者多个,然后点击ok。
3、点击”场景“——Load Generators,添加Load Generators,在此输入localhost表明连接本地的Load Generators。点击connect,连接Load Generators,如果连接不上则需要进一步定位原因。
也可以直接在脚本列表中直接下拉添加Load Generators。因为当前只有一个脚本,vuser比例默认为100%,当同时执行多个脚本时,可以设置每个脚本分配的vuser比例。
4、脚本设置好后开始设置运行场景,双击Initialize设置初始化用户的方式。
双击”Start Vusers“设置vuser个数和启动方式。
双击Duration设置场景运行周期,选择”Run until completion“则当场景运行完成后同时停止所有vuser。如果选择运行一段时间,则需要设置停止vuser的方式,与设置启动vuser方式类似。
5、点击”start scenario“运行场景,在Run可以看见vuser的状态,以及场景运行过程中的报错信息。场景运行结束后,可以在下方看见一些数据,以便了解被测系统的性能。如下图所示,可以看见事务“register”的响应时间。
6、点击Result——Analyze Results,将会启动Analysis自动生成本次场景执行相关的测试报告。
参考链接:
http://www.jb51.net/softjc/71256.html
https://www.jianshu.com/p/2f417febd39c