一:移动端自动化测试框架对比
概述
1、Monkey是Android SDK自带的测试工具,在测试过程中会向系统发送伪随机的用户事件流,如按键输入、触摸屏输入、手势输入等),实现对正在开发的应用程序进行压力测试,也有日志输出。实际上该工具只能做程序做一些压力测试,由于测试事件和数据都是随机的,不能自定义,所以有很大的局限性。
2、MonkeyRunner也是Android SDK提供的测试工具。严格意义上来说MonkeyRunner其实是一个Api工具包,比Monkey强大,可以编写测试脚本来自定义数据、事件。缺点是脚本用Python来写,对测试人员来说要求较高,有比较大的学习成本。
3、Instrumentation是早期Google提供的Android自动化测试工具类,虽然在那时候JUnit也可以对Android进行测试,但是Instrumentation允许你对应用程序做更为复杂的测试,甚至是框架层面的。通过Instrumentation你可以模拟按键按下、抬起、屏幕点击、滚动等事件。Instrumentation是通过将主程序和测试程序运行在同一个进程来实现这些功能,你可以把Instrumentation看成一个类似Activity或者Service并且不带界面的组件,在程序运行期间监控你的主程序。缺点是对测试人员来说编写代码能力要求较高,需要对Android相关知识有一定了解,还需要配置AndroidManifest.xml文件,不能跨多个App。
4、UiAutomator也是Android提供的自动化测试框架,基本上支持所有的Android事件操作,对比Instrumentation它不需要测试人员了解代码实现细节(可以用UiAutomatorviewer抓去App页面上的控件属性而不看源码)。基于Java,测试代码结构简单、编写容易、学习成本,一次编译,所有设备或模拟器都能运行测试,能跨App(比如:很多App有选择相册、打开相机拍照,这就是跨App测试)。缺点是只支持SDK 16(Android 4.1)及以上,不支持Hybird App、WebApp。
5、Espresso是Google的开源自动化测试框架。相对于Robotium和UIAutomator,它的特点是规模更小、更简洁,API更加精确,编写测试代码简单,容易快速上手。因为是基于Instrumentation的,所以不能跨App。配合Android Studio来编写测试的简单例子
6、Selendroid:也是基于Instrumentation的测试框架,可以测试Native App、Hybird App、Web App,但是网上资料较少,社区活跃度也不大。
7、Robotium也是基于Instrumentation的测试框架,目前国内外用的比较多,资料比较多,社区也比较活跃。缺点是对测试人员来说要有一定的Java基础,了解Android基本组件,不能跨App。
8、Appium是最近比较热门的框架,社区也很活跃。这个框架应该是是功能最强大的,
它的优点:
·开源;
支持Native App、Hybird App、Web App;
支持Android、iOS、Firefox OS;
Server也是跨平台的,你可以使用Mac OS X、Windows或者Linux;
它的哲理是:
用Appium自动化测试不需要重新编译App;
支持很多语言来编写测试脚本,Java、Javascript、PHP、Python、C#、Ruby等主流语言;
不需要为了自动化测试来重造轮子,因为扩展了WebDriver。(WebDriver是测试WebApps的一种简单、快速的自动化测试框架,所以有Web自动化测试经验的测试人员可以直接上手);
移动端自动化测试应该是开源的;
它的设计理念:
Client/Server架构,运行的时候Server端会监听Client端发过来的命令,翻译这些命令发送给移动设备或模拟器,然后移动设备或模拟器做出响应的反应。正是因为这种架构,所以Client可以使用Appium client libraries多种语言的测试脚本,而且Server端完全可以部署在服务器上,甚至云服务器。
Session,每个Client连接到Server以后都会有一个Session ID,而且Client发送命令到Server端都需要这个Session ID,因为这个seesion id代表了你所打开的浏览器或者是移动设备的模拟器。所以你甚至可以打开N个Session,同时测试不同的设备或模拟器。
Desired Capabilities,其实就是一个键值对,设置一些测试的相关信息来告诉Server端,我们需要测试iOS、还是Android,或者换是WebApp等信息。
Appium Server是Node.js写的,所以可以直接用NPM来进行安装。
Appium Clients,Mac OS和Win下提供GUI,不需要装Node.js,方便测试人员操作。
总结:
在iOS部分是封装了UIAutomation;Android 4.2以上是用UiAutomator,Android 2.3 ~ 4.1用的是Instrumentation,也就说Appium同时封装了UiAutomator和Instrumentation。所以Appium拥有了以上几大框架的所有优点:跨App,支持Native App、Hybird App、Web App,还支持N种语言来编写你的测试脚本。
二:国内外主流云测试平台对比
国外主流的云测试平台:
·Xamarin Test Cloud (https://xamarin.com/test-cloud/)
·TestDroid (http://testdroid.com/)
·Sauce Labs (https://saucelabs.com/mobile/)
·Google Cloud Test Cloud (https://developers.google.com/cloud-test-lab/)
·AWS Device Farm (https://aws.amazon.com/device-farm/)
图1 - 国外主流的云测试平台对比
从上图我们可以看到一些特点:
1.在测试设备的数量上,Xamarin Test Cloud和Sauce Labs都是非常有优势的,虽然Xamarin Test Cloud统计的是测试设备的数量,而Sauce Labs是平台的数量;
2.亚马逊自己的FireOS只被自己的云测试平台支持,在国内我们也能看到类似的例子;
3.所有的云测试平台都支持app测试,但是只有TestDroid支持游戏测试;
4.对于国内云测试平台提供的人工测试,安全测试,内测分发和众包测试,国外这些云测试平台都是不支持的,需要结合别的工具和框架进行使用。不过对于手动测试,Sauce Labs和Perfecto这两个云测试平台支持租用测试设备进行手动测试;
5.对于云测试基础功能的兼容测试,以及脚本测试,崩溃分析和持续集成,这些云测试平台都是支持的;
6.只有Xamarin Test Cloud,TestDroid和AWS Device Farm支持性能监控;
7.对于脚本测试所使用的移动app自动化测试框架,每个平台都不甚相同:
·Xamarin Test Cloud支持Calabash(iOS和Android)和自己的Xamarin.UITest;
·TestDroid支持很多框架,包括支持iOS的Calabash,appium,UI Automation和 Jasmine,以及支持Android的Calabash,appium,Espresso,Robotium和uiautomator;
·Sauce Labs支持自己的开源框架appium;
·Google Cloud Test Lab则支持Espresso,Robotium和Robo test;
·AWS Device Farm也支持很多框架,包括支持iOS的Calabash,appium,UIAutomation和XCTest,以及支持Android的Calabash,appium,JUnit,Espresso,Robotium和uiautomator。
8.Xamarin Test Cloud,TestDroid和Sauce Labs都有自己的移动app测试脚本录制工具,分别是:Xamarin Test Recorder,TestDroid Recorder和appium inspector。
综合来看,对于国外的云测试平台,如果侧重的是测试设备的覆盖程度,选择Xamarin Test Cloud和Sauce Labs会更合适;如果需要测试FireOS设备,那就选择AWS Device Farm;如果侧重的是脚本测试中支持的语言和框架,那就可以选择TestDroid和AWS Device Farm;如果是进行游戏测试,只能选择TestDroid;如果要远程连接测试设备进行手动测试,那就需要选择Sauce Labs和Perfecto;如果在测试过程中需要同步监测性能,就不能选择Sauce Labs和Google Cloud Test Lab。
国内主流的云测试平台:
·Testin云测 (http://www.testin.cn/)
·百度MTC (http://mtc.baidu.com/)
·腾讯优测(http://utest.qq.com/)
·阿里MQC (http://mqc.aliyun.com/)
·贯众云测试(http://cloudtest.komect.com/)这里不做主要对比
·WeTest(http://wetest.qq.com/这里不做主要对比
图2 - 国内主流的云测试平台对比
从上图我们也可以看到一些特点:
1.Testin云测支持的测试设备数量最多,达到了600部Android和70部iOS终端的数量;但是和Xamarin Test Cloud以及Sauce Labs支持的设备数量还是有不少差距的;
2.和亚马逊类似,阿里的YunOS也只有阿里MQC才能支持;
3.和国外的云测试平台很类似,这四个国内云测试平台也都支持app的云测试,而不支持游戏测试;只有Testin云测支持游戏测试;
4.对于云测试基础功能的兼容测试,国内主流云测试平台都是支持的;
5.这四个国内云测试平台也都支持崩溃分析,不过对于性能监控,却只有百度MTC支持,而且百度MTC的深度性能测试中还可以做竞品app的性能对比;
6.Testin云测和百度MTC不支持手动测试;
7.只有阿里MQC不支持人工测试;
8.只有Testin云测不支持安全测试;对于支持安全测试的云测试平台,也没有公布是如何进行安全测试的;
9.Testin云测支持内测分发和众包测试,阿里MQC支持众包测试,其它两个云测试平台对于内测分发和众包测试都不支持;
10.对于脚本测试,只有腾讯优测不支持;而对于测试工具和框架,各个平台的支持也不相同:
·Testin云测支持Robotium,JUnit,淘宝的Athrun和Testin SDK,其中只有Testin SDK支持iOS和Android,其他框架都只支持Android;
·百度MTC只支持通过自己的测试脚本录制工具录制的脚本;
·阿里MQC支持Robotium和增强后的appium,其中appium可以支持iOS和Android;
11.Testin云测,百度MTC和阿里MQC都提供了自己的测试脚本录制工具,分别是itestin录制回放工具,百度MTC录制回放工具和易测;
12.国内云测试平台都没有提及持续集成,不过从笔者的了解看来,Testin云测和阿里MQC应该是都支持的。
对于国内云测试平台,如果需要覆盖更多的测试设备或者需要测试游戏亦或需要内测分发,只能选择Testin云测;如果需要测试YunOS设备,那就需要选择阿里MQC;如果需要进行性能监控和竞品对比,那就选择百度MTC;如果要远程连接测试设备进行手动测试,那就需要选择腾讯优测和阿里MQC;如果需要雇佣云测试平台的专业测试人员,就不能选择阿里MQC;如果需要进行安全测试,就不能选择Testin云测;如果需要进行众包测试,那就选择Testin云测和阿里MQC;如果要进行脚本测试,就不能选择腾讯优测,对于百度MTC也不推荐。
三:系统、开发工具及IDE自带工具
1:AndroidMonitor(Memory monitor、Cpu monitor、GPU monitor、NetworkMonitor)(https://developer.android.com/studio/profile/android-monitor.html)
2:TraceView (https://developer.android.com/studio/profile/traceview.html)
3:Systrace(http://developer.android.com/tools/help/systrace.html)
4:HierarchyViewer(https://developer.android.com/studio/profile/hierarchy-viewer.html)
5:GL Tracer(http://developer.android.com/tools/help/gltracer.html)
6:Heap Viewer
(http://developer.android.com/tools/performance/heap-viewer/index.html)
7:Batterystats and Battery Historian(https://developer.android.com/studio/profile/battery-historian.html)
8:GPU Overdraw(http://developer.android.com/tools/performance/debug-gpu-overdraw/index.html)
四:其它
NimbleDroid(https://nimbledroid.com/)
Fixing Memory leaks
(http://riggaroo.co.za/fixing-memory-leaks-in-android-outofmemoryerror/)
Leakcanary(https://github.com/square/leakcanary)