1.Money介绍
顾名思义,Monkey就是猴子, Monkey测试,就像一只猴子, 在电脑面前,乱敲键盘在测试。
通过Monkey程序模拟用户触摸屏幕、滑动Trackball、 按键等操作来对设备上的程序进行压力测试,检测程序多久的时间会发生异常。
2.Monkey用来做什么
Monkey 主要用于Android 的压力测试自动的一个压力测试小工具, 主要目的就是为了测试app 是否会Crash(崩溃)。
3. Monkey 前提条件
环境配置:把adb加入系统环境,手机开启开发者模式
连接手机,获取测试的包名。获取包名的方法
Monkey编写测试命令,并运行。monkey操作命令
如果要提前中结束测试,中断运行中的monkey
CTRL+Cadb shell ps | grep monkey 返回进程号adb shell kill [刚才查到的进程号]
4.Monkey程序介绍
Monkey程序由Android系统自带,使用Java语言写成,在Android文件系统中的存放路径是: /system/framework/monkey.jar;
Monkey.jar程序是由一个名为“monkey”的Shell脚本来启动执行,shell脚本在Android文件系统中 的存放路径是:/system/bin/monkey;
Monkey 命令启动方式:
a)可以通过PC机CMD窗口中执行: adb shell monkey {+命令参数}来进行Monkey测试
b)在PC上adb shell 进入Android系统,通过执行 monkey {+命令参数} 来进行Monkey 测试
c ) 在Android机或者模拟器上直接执行monkey 命令,可以在Android机上安装Android终端模拟器
七、Monkey 命令 基本参数介绍
7.1.使用monkey测试手机所有程序
adb shell monkey 100 执行monkey测试100次 针对rom测试或者
image.png
使用adb指令,安装Login.apk
image.png
7.2.-p <允许的包名列表>
adb shell monkey -p com.example.login 100
用此参数指定一个或多个包。指定包之后,monkey将只允许系统启动指定的app。如果不指定包, monkey将允许系统启动设备中的所有app。
指定一个包:
image.png
7.3.显示日志详细程度
用于指定反馈信息级别(信息级别就是日志的详细程度),总共分3个级别,分别对应的参数如下 表所示:
Level 0 : adb shell monkey -p com.example.login -v 100 // 缺省值,仅提供启动提示、测试完成和最终结果等少量信息
image.png
Level 1 : adb shell monkey -p com.example.login -v -v 100 // 提供较为详细的日志,包括每个发送到Activity的事件信息
Level 2 : adb shell monkey -p com.example.login -v -v -v 100 // 最详细的日志,包括了测试中选中/未选中的Activity信息
image.png
7.4.Monkey日志分析
将log信息写到文档中
adb shell monkey 100 >c:/log/b.txt
image.png
正常情况, 如果Monkey测试顺利执行完成, 在log的最后, 会打印出当前执行事件的次数和所花费的时间; // Monkey finished 代表执行完成
随机数种子
用亍指定伪随机数生成器的seed值,如果seed相同,则两次Monkey测试所产生的事件序列也相同的。 示例:
monkey测试1:adb shell monkey -p com.shjt.map –s 10 100
monkey测试2:adb shell monkey -p com.shjt.map –s 10 100
image.png
7.5.--throttle <毫秒>
用亍指定用户操作(即事件)间的时延,单位是毫秒;如果不指定这个参数,monkey会尽可能快的 生成和发送消息。
例:adb shell monkey -p com.example.login --throttle 300 100
表示执行100个伪随机用户事件流,事件间隔为300毫秒。
注:一般设置为300毫秒,原因是实际用户操作的最快300毫秒左右一个动作事件。
image.png
7.6.--pct-touch <percent>
调整触摸事件的百分比。(触摸事件是指在屏幕中的一个down-up事件,即在屏幕某处按下并抬起的操作)
–pct-touch:触摸事件。即在某一位置的Down-Up(手指的放下和抬起)事件。Down(ACTION_DOWN)和Up(ACTION_UP)的坐标临近,但并非相同。
如:adb shell monkey -pct-touch 67 -v 10
表示执行10个伪随机用户事件流,并调整其中触摸事件的百分比为67%。
注:此参数设置要适应当前被测应用程序的操作,比如一个应用80%的操作都是触摸,那就可以将此参数的百分比设置成相应较高的百分比。
7.7.--pct-motion <percent>
调整motion事件百分比。(motion事件是由屏幕上某处一个down事件、一系列伪随机的移动事件和一个up事件组成)
–pct-motion:动作事件。以Down(ACTION_DOWN)开始,Up(ACTION_UP)结尾,中间至少有一次Move(ACTION_MOVE)。
如:adb shell monkey -pct-motion 67 -v 10
表示执行10个伪随机用户事件流,并调整其中动作事件的百分比为67%。
注:这里的移动是直线滑动
7.8.--ignore-crashes
作用:通常,应用发生崩溃或异常时Monkey会停止运行。如果设置此项,Monkey将继续发送事件给系统,直到事件计数完成。
正常操作,不忽略异常
image.png
image.png
忽略异常
image.png
image.png
7.9.--ignore-timeouts(ANR)
作用:通常,应用程序发生任何超时错误(如“Application Not responding”对话框)Monkey将停止运行,设置此项,Monkey将继续发送事件给系统,直到事件计数完成。
7.10.Monkey 实例
用monkey 命令 对登录apk进行 性能测试
image.png
monkey -p com.tencent.mtaexample -s 23 --throttle2000 --ignore-crashes --ignore-timeouts -v -v -v 100000>/data/local/tmp/log.txt 2>&1 &
-p后面接着的对应的包名,如果是整机测试,就不需要 -p package_name
-s后面是对应的种子数,好像就是操作步骤,根据她们测试的经验,一般种子数在23,同步她们测试的结果,一般种子的个数固定为23,和她们选择的操作步骤就是同步的。
--ignore-crashes --ignore-timeouts 这里是在monkey测试的过程中遇到carash或者timeout的情况时忽略掉,一般不设置时,出现carash或者timeout时,Monkey测试会终止。这里是防止Monkey测试终止。
-v 指的是Monkey测试时打印log级别。
100000 这里是指点击的次数,根据她们测试的经验,对于单个应用程序这个次数设置在100000次就可以了;如果是整机,一般设置在500000次。
/data/local/tmp/log.txt测试的log记录在手机上/data/local/tmp/ 下面的log.txt里面,这个名字可以自己写。
2>&1 固定的写法,这个也很重要,代表的意思是中间忽略的东东的日志一并输入到指定的文件中。
最后单独的一个"&" 是一旦Monkey测试开始了,之后可以拔掉数据线,不会影响Monkey测试。
测试所有模块 monkey -s 23 --ignore-crashes --ignore-timeouts -v-v -v 100000> /data/local/tmp/log.txt 2>&1 &
adb shell monkey -p com.example.login --ignore-crashes --ignore-timeouts --throttle 100 --pct-touch 50 --pct-motion 50 -v -v 1000 >c:\login\c.txt
7.11.Monkey异常分析
一般我们可以一次发送5万次随机事件的请求,每个请求之间的间隔为150毫秒,测试大约会进行40min,完成以后就可以查看日志。
日志中可能的错误:
1.程序异常退出,uncausedexception (ctrl+f搜索‘Fatal’)
2.程序强制关闭,ForceClosed (简称FC) (同上)
3.程序无响应,ApplicationNo Response(ctrl+f搜索‘ANR ’,加空格是为了屏蔽掉一些无效信息)
4.手动生成。
Monkey 执行中断, 在log最后也能看到当前执行次数
7.12.monkey事件百分比
首先注意一点,这个Event percentages在不同版本的SDK版本中顺序可能会不一样。
下列中monkey源代码是从android4.4.2SDK中反编译出来的
image.png
image.png
由上图可以看出
Event percentages:
0:--pct-touch//touch
events percentage触摸事件百分比(触摸事件是一个在屏幕单一位置的按下-抬起事件)
1:--pct-motion//motion
events percentage手势事件百分比(手势事件是由一个在屏幕某处的按下事件、一系列的伪随机移动、一个抬起事件组成)即一个滑动操作,但是是直线的,不能拐弯
2:--pct-pinchzoom//pinch
zoom events percentage二指缩放百分比,即智能机上的放大缩小手势操作
3:--pct-trackball//trackball 即单纯的Move(ACTION_MOVE)
events percentage轨迹球事件百分比(轨迹球事件包括一个或多个随机移动,有时还伴有点击。轨迹球现在智能手机上已经没有了,就是类似手柄的方向键一样)
4:--pct-rotation//screen
rotation events percentage屏幕旋转百分比,横屏竖屏
5:--pct-nav//nav 基本导航事件。即来自于方向输入设备的上下左右操作。
events percentage”基本”导航事件百分比(导航事件包括上下左右,如方向输入设备的输入)老手机的上下左右键,智能机上没有
6:--pct-majornav//major 即Navigation Bar的确认,菜单,返回键等
nav events percentage”主要”导航事件百分比(这些导航事件通常会引发UI的事件,例如5-way pad的中间键、回退键、菜单键)
7:--pct-syskeys//system(key)
operations percentage”系统”按钮事件百分比(这些按钮一般专供系统使用,如Home, Back, Start Call, End Call,音量控制)
8:--pct-appswitch//app
switch events percentage启动activity事件百分比。在随机的间隔里,Monkey会执行一个startActivity()调用,作为最大程度覆盖包中全部Activity的一种方法
9:--pct-flip//keyboard
flip percentage键盘轻弹百分比,如点击输入框,键盘弹起,点击输入框以外区域,键盘收回
10:--pct-anyevent//anyevents 该事件可能包含其他上述事件。
percentage其他类型事件百分比。包括了其他所有的类型事件,如按键、其他不常用的设备上的按钮等等。
八、手机兼容性测试
Android App兼容性测试,是一个比较重要的App评价内容,
说到测试阶段,兼容性测试主要是对App在各类机型上的兼容、适配等情况进行测试。搞清楚这一阶段的测试重点后,因此,Android App在进行兼容性测试前,一定要做好其前序测试内容,否则兼容性测试效果将会较差。
8.1.机型配置问题。
Android兼容测试一定要做到宽范围覆盖,如果做不到这个,那么就违背了兼容性测试的目标——测试App在各类机型、系统上的运行是否兼容、适配。
因此,兼容性测试必须要在各个机型、系统上对App进行运行、测试,查看相关UI是否适配、功能是否正常。所以,必须要为兼容性测试配备尽可能多的机型。这是不是意味着,你的公司要去购置各类机型设备?当然不是。对于一般的公司或者开发者,这将会是一大笔开销,为了节约资金而造成进行覆盖率较低的话,则失去了兼容性测试的意义。另外,这也是没必要的,因为往往你就一个或两三个App,为了这少量App测试,而去购置如此大量的设备,无疑是一种资源浪费。除此,还有一个原因,将在兼容性测试如何展开里去说。除此,机型量的多少也是一个权衡的过程,目前,通用的兼容性测试一般覆盖Top100-300的机型,对于实在是小量机型或者老旧机型,用户量非常小,在一定程度上,是否需要覆盖则需要权衡,总的来说,Top排名的手机基本足够。
8.2.兼容性如何展开?
这是一个经验性的过程,可以去借鉴大型互联网公司的成熟App的测试方法。目前,无论是国际知名App,还是国内知名App,谷歌、Facebook,BAT等,他们都有大量的App对外推出,对于App兼容性要求非常高,因此,他们的做法是非常值得借鉴的。这些公司的兼容性测试,都有一个相同的解决方案,那就是自动化测试框架与平台的实现。通过浏览上述公司在各种大会公布的内容,或者通过论坛知识分享,都能看到,他们不仅有自己的测试实验室,拥有大量的手机,除此,还有一整套的自动化测试平台,来完成兼容性测试。
8.3.有哪些好用的App云测试平台?
目前对移动App的测试主要指的是下面几部分:
兼容性测试——App对不同手机、操作系统版本的兼容性测试,包括安装、启动、卸载等。
功能测试——遍历应用的每一个角落,查看应用的功能、逻辑是否正常,完整。
性能测试——应用的性能怎样,如启动时间、反应时间、CPU占用率,内存占用率等。
稳定性测试——在一定时间内对App进行持续地测试,测试App运行的稳定性。
网络场景测试——测试不同网络环境中App的运行状况,如2G&3G,弱网络等。
以下是国内几家主要的云测试平台:
Testin:Testin云测|全球领先的App及手游测试平台
Testin是国内较早涉足云测试领域的公司之一。Testin在云端部署了300多款1000多部测试终端,终端种类及数量都比较全面。支持Android与iOS系统。但目前仅少部分服务为免费,绝大多数服务为收费项目,故而使用成本较高,具体收费情况请查看官网的介绍。
腾讯优测:优测网-让测试更简单
腾讯优测是腾讯旗下的云测试服务平台,拥有超过1000款测试终端,机型数量庞大。但仅支持Android,暂不支持iOS系统。提供兼容性测试服务,不提供性能测试、功能测试及稳定性测试服务。另外,腾讯优测还提供“云手机”服务,开发者可以远程控制测试终端,实时查看App安装、运行效果。优测目前的功能为收费(新注册的用户可获得官方赠送的礼包),每天限制提交2次测试。
移动测试学习端口:https://wetest.qq.com/guide/learn-source
image.png
贯众云测试:贯众云测试
贯众云测试是中国移动旗下的云测试服务平台,目前拥有超过100款市面主流终端,支持Android及iOS系统。提供兼容性测试、功能测试、性能测试,稳定性测试(12小时)及网络场景测试服务(2G&3G&4G)。支持Appium脚本。缺点是终端数量较少,优点是功能较为全面,且基本功能都是免费,使用成本还是蛮低的。
百度MTC:百度移动云测试中心
百度MTC是百度开放平台旗下的移动云测试中心。提供超过500款热门机型,目前只支持Android系统,暂不支持iOS系统。提供的测试服务种类有兼容性测试、性能测试、功能测试。并且提供了脚本录制工具,类似Testin。但脚本录制工具更新速度较慢。百度MTC的服务目前为收费服务,具体收费情况请查看官网的介绍。
阿里MQC:MQC 阿里移动质量中心
阿里MQC是阿里巴巴旗下的移动测试平台。提供上百款测试终端,支持Android及iOS系统。提供兼容性测试、功能测试、性能测试以及稳定性测试(1小时)。测试脚本需使用Robotium或Appium测试框架编写,难度较高。MQC也提供了远程的真机调试,功能和腾讯优测类似,看来腾讯和阿里还真是一对儿冤家啊。
8.4.腾讯云测兼容性报告
image.png
image.png
image.png
image.png
8.5. 百度MTC-移动云测试中心
百度MTC是百度开放平台旗下的移动云测试中心。提供超过500款热门机型,目前只支持Android系统,暂不支持iOS系统。提供的测试服务种类有兼容性测试、性能测试、功能测试。并且提供了脚本录制工具,类似Testin。但脚本录制工具更新速度较慢。百度MTC的服务目前为收费服务。
image.png
1、移动app测试服务包含:自动化测试、人工测试、用户接受度评测、远程真机调试。点击创建测试任务即可
image.png
2、以功能回放测试为例:创建测试任务。步骤为上传app,上传用例,选择测试终端,截图,邮件。
image.png
3、测试报告包含:应用基本信息、结论总览、问题分布、问题列表、问题终端分布、性能结论、性能分析、内存占用分析、终端列表。
点击进入终端详细报告,包含内容:终端信息、测试结果、性能结果、测试截图、安装日志、logcat日志、脚本日志、性能详情、屏幕录像。
image.png
8.6.各款云测试平台对比
image.png
image.png
8.7.总体总结
1、真机租用:Testin云测和AWS Device Farm,均包含iOS和Android,型号全,优先推荐。
2、AWS Device Farm支持框架Appium Java JUnit、Appium Java TestNG、Appium Python、Calabash、Instrumentation 、UI Automation 和 XCTest,终端支持Android和iOS,web,优先推荐
AWS Device Farm支持网络场景选择,其他均不支持。但是它的性能指标比较少,只有三项,CPU,Memroy,Threads
3、百度MTC支持Appium、Robotium、Uiautomator框架,但是创建测试任务时,过于简单,具体测试内容展示不明确。
深度性能测试无亮点,与兼容性测试中的性能数据无明显优势。
4、阿里MQC支持在线录制脚本,自行编写脚本支持Appium、Robotium框架
测试服务类型分布清晰,按测试系统划分,支持Android,iOS,yunos。创建测试任务时,测试步骤类型表述清晰。
5、腾讯优测-Xtest工具,支持录制脚本。深度测试服务的报告很全面,但是价格稍贵。
6、Testin是国内较早涉足云测试领域的公司之一。Testin在云端部署了300多款1000多部测试终端,终端种类及数量都比较全面。支持Android与iOS系统,步骤简单,便于操作。
九、真机测试
注意:下载手机助手,换一根数据线,
9.1.第一步:让手机显示开发者选项
多次点击版本号,显示开发者选项
image.png
image.png
9.2.允许USB调试
若使用真机,用USB将手机和电脑连接,在手机端进行操作:
(1)选择USB连接方式为设备文件管理;
(2)设置->开启开发者选项->勾选‘USB调试’(真机和模拟器上皆需进行)。
9.3.检测连接设备
在终端中输入’adb devices‘,此时已连接设备列表下应存在设备序列号
9.4.执行相应的测试操作
9.5.同屏
image.png
10.作业:
adb devices
adb install xxx
adb uninstall 程序包名
adb shell 进入手机
adb shell dumpsys meminfo +包名:应用的内存使用情况
adb logcat -v time process > C:/log/aa.txt
adb logcat *:W
用monkey 命令 对登录apk进行 性能测试
image.png
adb shell monkey -p com.example.login --ignore-crashes --ignore-timeouts --throttle 100 --pct-touch 50 --pct-motion 50 -v -v 1000 >c:\login\c.txt