性能测试:
《会员账户系统项目性能测试报告.doc》
3. 性能需求指标
本次性能测试获取当前配置情况下各项性能指标,具体如下:
>>>系统处理能力(TPS 与 HPS):TPS(Transaction per Second)是指系统每秒钟处理完成的交 易数量,是度量系统性能的重要指标。HPS(Hits per Second)是指在一秒钟的时间内用户对 Web 页面 的链接、提交按钮等点击操作的总和,它一般和 TPS 成正比关系,是度量 B/S 系统性能的重要指标之一。
>>>功能响应时间(Response Time):低于300毫秒
是指从客户端发起业务请求到得到响应的整个过程所经历的时间。通常用平均响应时间、最大响应时间、90%功能响应时间等指标衡量。
>>>在线用户数:是指同一时间段内访问系统的用户数量。这些用户在同一时间段内已登录或者已访问系统,但是不一定每时每刻都在进行操作。
>>>并发用户数:是指同时对应用系统发起业务请求的用户数量。该指标取决于业务 操作间隔和单笔功能的响应时间,通常并发用户数为在线用户数的10%左右。
>>>系统资源利用率:是指在系统负载运行期间,各硬件的系统资源(如CPU、内存、磁盘IO、网络带宽等)被占用的情况,CPU使用率低于80%、内存使用率低于70%。
>>>成功率:是指功能成功的数量占发出的总功能量的百分比。功能成功分为业务逻辑成功、系统响应成功等,可根据不同系统的测试要求进行调整。
基准测试(Benchmarks)不必消亡
基准测试帮助社区把他们对用户行为的理解编码
所有基准测试面对愚弄和作弊都会显得不堪一击
跟踪和性能分析可以替代测试中老旧过时的用户行为模型
没有可以在不同项目间共享跟踪数据的常用工具
测试能够作为性能退化测试的一部分永远存在下去
随笔:
所有的基准测试都在模拟真实世界的工作负荷。
他们内置了诸如对执行时间,延迟和吞吐量,以及每秒操作次数等指标的测量能力,这种测量让开发者了解他们软件的表现。
本质上说,基准测试的目的是允许用户在不同软件版本和配置之间进行比较。以完全相同的工作负荷排除掉其他因素,从而能够单独比较代码上的区别。
用人工或综合的方式测试某个特定的部件的基准测试,被称为微基准测试(Micro-Benchmark)。
service-level agreement (SLA)
Wiki - 服务级别协议
服务级别协议(英语:service-level agreement,缩写SLA)也称服务等级协议、服务水平协议,是服务提供商与客户之间定义的正式承诺。服务提供商与受服务用户之间具体达成了承诺的服务指标——质量、可用性,责任。[1]SLA最常见的组成部分是以合同约定向客户提供的服务。例如,互联网服务供应商(ISP)和电信公司通常在与客户的合同条款内包含简单定义的服务级别协议。在此事例下,SLA通常定义有平均故障间隔(MTBF)、平均修复时间或平均修复时间(MTTR);哪一方负责报告错误与支付费用;吞吐量;抖动;或类似的可衡量细节。
什么是基准测试?
随笔:
基准测试(benchmarking)是一种测量和评估软件性能指标的活动。你可以在某个时候通过基准测试建立一个已知的性能水平(称为基准线),当系统的软硬件环境发生变化之后再进行一次基准测试以确定那些变化对性能的影响。这是基准测试最常见的用途。其他用途包括测定某种负载水平下的性能极限、管理系统或环境的变化、发现可能导致性能问题的条件,等等。