iOS自动化测试:自动遍历工具试用总结

简介

本篇分析了近期试用的几款iOS自动化测试工具

背景

  • 市场背景
    • 苹果官方只提供底层库XCUITest,需要开发
    • iOS平台自动测试工具少,各大云市场上自动遍历功能都多有限制企业无法自由定制.
  • 测试常见问题:
    • UI自动化只能覆盖核心业务逻辑,新功能来不及上自动化
    • 产品业务测试量较大,新版发布后,老功能来不及全面回归,容易漏测
    • 时间长,强度大的工作后,人容易产生疲乏,对数字的位数,文字的显示等错误信息的敏感度下降
    • 产品的界面深度很深,且包含大量的展示信息功能
    • 专项测试回归难度大:内存泄漏、健壮性测试、弱网等测试太多

这个时候我们需要一种手段,可以达到两方面的目的:

  • code less: UI自动化用例维护成本降到最低
  • automate: 尽可能的自动化覆盖回归业务

工具对比

SwiftMonkey

SwiftMonkey是一款基于苹果XCTest框架为基础的随机生成操作Action的测试框架,只支持iOS端。
参考链接:SwiftMonkey Github

工作原理介绍

通过代码随机生成操作事件,使用苹果官方XCTest框架执行操作,在Xcode10.1之前使用苹果的私有api 如XCEventGenerator.tapAtTouchLocations 故执行速度极快,在Xcode10.1之后只能使用public API,速度在1秒3-5个操作。

总结
  • 优点:
    由于monkey在测试过程中的“随机”性,且执行速度快,可以用来做App压力测试
  • 缺点:
    不满足我们的两个自动遍历需求:可控性和可定制

因为短板明显,用于自动遍历上效果不佳,但是做为压力测试和崩溃检测工具还是不错的。

NoSmoke 2.0

NoSmoke 是一款基于source-XML-tree/OCR 为基础的多端UI自动化测试框架,支持Android iOS。
参考链接:NoSmoke 2.0

工作原理介绍

爬虫程序通过OCR 扫描客户端App 窗口图片对可操作点进行分析,规避了大量的xml 计算成本,从而提升效率.


image
总结
  • 优点:
    • 自动遍历App进行UI测试,并提供测试报告
    • 可控制,提供拦截钩子,针对特殊的情景自定义操作事件
    • 支持多端运行: iOS, Android
  • 缺点:
    • 使用OCR的扫描方式过于依赖扫描的精准度,且目前使用的工具对中文识别的友好度低,会出现扫描出错,一个句子被截断为数段等情况

由于NoSmoke2.0使用的OCR tesseract对于中文的识别效果不佳导致各种异常,所以目前对于中文app的支持不佳,难以使用。

AppCrawler

一个基于Appium框架的自动遍历app爬虫工具. 支持android和iOS, 支持真机和模拟器. 最大的特点是灵活性. 可通过配置来设定遍历的规则.
参考链接:AppCrawler GithubAppium 介绍

工作原理介绍

框架结构

  • appcrawler底层引擎
    • appium
      • WebDriverAgent
        • iOS 9.3 及以上 XCUITest
        • iOS 9.3 及以下 UIAutomation

appcrawler流程


AppCrawler流程
总结
  • 优点:
    • 跨平台性:AppCrawler是基于appium开发的,所以支持Android和IOS
    • 可控性:对测试的页面,控件类型的选择,测试的深度等都可自由控制
    • 可定制:可自定义操作,如输入,滑动等
  • 缺点:
    • 运行速度较慢:AppCrawler是基于appium开发具备了跨平台的优点,但是也因为这层封装造成了运行速度相对较慢
    • 使用门槛高:正因为使用灵活性的问题,也造成了使用门槛的提高,主要基于yaml文件中使用appium的相关技术知识进行配置,这就对使用者有了一定的技术要求
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容