Macaca-NoSmoke遍历调研过程记录

背景介绍

本文主要介绍对于NoSmoke遍历Android App使用过程中的一些记录,通过源码打断点的方式及查看截图效果简单确定一些NoSmoke的内部机制,其中若有理解错误或不当之处还请多多指教。本文未多介绍环境搭建,环境搭建有需要再补。

环境介绍

Macaca+NoSmoke+Android手机+Mac10.13.1
主要参考文档:
Macaca NoSmoke官方文档
Macaca 自动遍历器 NoSmoke 发布公测
基于 macaca 的遍历 NoSmoke

NoSmoke启动流程

NoSmoke其实是提供了一套遍历流程,Macaca作为服务端,NoSmoke作为客户端 去对手机进行一个遍历操作。
主要分以下步骤:

  • 开启Macaca服务端
  • 更改NoSmoke配置
  • 启动NoSmoke客户端
  • 页面实时查看效果

NoSmoke结果页展示

首先来简单介绍一下NoSmoke的遍历结果页面,在图上简单的进行了一下标注,对于标注相关说明会在下面详细介绍


NoSmoke结果页面.png

Digest对应的Actions列举
NoSmoke图片简排页面

NoSmoke遍历流程

NoSmoke在遍历过程中核心步骤主要如下:

  • 确定页面Digest
  • 确定页面的Action集合
  • 确定页面的点击操作
  • 循环该过程直至遍历结束
    我们先简单的说明一下这4个步骤。

NoSmoke-Digest介绍

在上面的效果图中提到了Digest,Digest就相当于一个页面的唯一标识,即在自动化遍历页面时如何确定两个页面时相同的控件结构。
在NoSmoke的代码中NoSmoke/lib/crawler/models.js
函数NSAppCrawlingTreeNode.prototype.checkDigest里提供了判断Digest的方法,核心代码如下:

this.digest = '' + (source.value.match(/node/g) || []).length +
            (source.value.match(/Android/g) || []).length +
            (source.value.match(/TextView/g) || []).length +
            (source.value.match(/EditText/g) || []).length +
            (source.value.match(/Layout/g) || []).length +
            (source.value.match(/Button/g) || []).length;

从代码中可以看到每个页面根据Macaca返回的控件树的value值,匹配一定节点,拼接而成的Digest。因此我们看到的Digest是一串数字。图片上的View值就是唯一ID。

Digest

对于这个Digest,从页面效果来看它的区分程度准确率并不是特别的好,上面的图和下面的图区分来看是一样的页面,但是它们的Digest是不一样的。图片没有截全,下面的Digest是520120411,上面的图图像上标识是520120421
Digest

个人认为页面唯一ID的确定本身就是一个有无数种选择的问题,可以说未必能有一种唯一的算法可以确定出所有APP的页面ID,因此NoSmoke也提供了hook,用户可以自己编写自己所确定页面ID的代码。

NoSmoke-Action介绍

当我们确定好这个页面的唯一ID时,页面中我们要去点击哪些控件呢?这就是Action集合所做的事情。
每一次请求页面Source时,都会返回页面的节点层级,在NoSmoke中通过不断的查询子节点,确定了每一个控件的执行路径。此处详细代码在NoSmoke/lib/crawler/crawler.js文件中的NSCrawler.prototype.recursiveFilter函数中 以下仅截取部分代码:主要是如果当前节点有子节点,进行递归循环,并生产Xpath路径

  /** 1. filter Current Node Information */
  if (source.hasOwnProperty('children')) {
    if (Array.isArray(source.children)) {
      for (let i = 0; i < source.children.length; i++) {
        this.eraseModelDifference(source.children);
        this.insertXPath(source, source.children[i]);
        let result = this.recursiveFilter(source.children[i], matches, exclusive);
        sourceArray = sourceArray.concat(result);
      }
    } else {
      this.eraseModelDifference(source.children);
      this.insertXPath(source, source.children);
      let result = this.recursiveFilter(source.children, matches, exclusive);
      sourceArray = sourceArray.concat(result);
    }
  }

生产的路径如下:

页面Digest及对应Action路径

此处重点概括一下就是:

  • 一个Digest会生产多个Action,这些Action集合为Actions
  • NoSmoke源码中设定Actions生产的最大数量为16
  • 遍历路径达到的Action/所有Digest生产的Action为页面展示的百分比
Action具体生成
页面控件层级

上图是页面的控件层级图。我们如果转化成模块简单化路径按下图层级为:

a-b-d//这个结果是通过生产的Action和页面的层级路径相比对整理出来的,如有错误还请指出
a-b-e
a-f
a-g
灵魂画图

上图里的c和h路径并没有被录入,用户可以匹配某种控件类型被过滤,如果父元素为被过滤的类型,那么子元素同样不会被选择。

页面元素点击

页面元素点击在performAction函数里,这里的逻辑就比较简单,主要是对于当前即将点击的元素进行类型判断clickTypes,horizontalScrollTypes,editTypes这三种分别为点击、滑动、输入三种类型,那么我们怎么知道过来的一个元素应该点击滑动还是输入呢?
yml文件配置

  horizontalScrollTypes:
    - 'android.widget.ImageView'
    - 'android.widget.TextView'
    - 'android.widget.Button'
  clickTypes:
    - 'android.widget.Button'
    - 'android.widget.TextView'
  editTypes:
    - 'android.widget.EditText'

当前的元素是图片类型,它被设定为滑动类型,那么久会被滑动,当前图片是按钮,它既可以滑动也可以点击,按照下面代码中的if else逻辑会对其进行点击操作.

if (this.config.clickTypes.indexOf(action.source.type) >= 0) {
          /** 1. handle click actions */
          return new Promise((resolve, reject) => {
            root.wdclient.send('/wd/hub/session/' + this.sessionId + '/element/' + action.data.value.ELEMENT + '/click', 'post', {}, () => {
              this.refreshScreen();
              resolve();
            });
          });
        } else if (this.config.horizontalScrollTypes.indexOf(action.source.type) >= 0) {
          /** 2. handle horizontal scroll actions */
          return new Promise((resolve, reject) => {
            root.wdclient.send('/wd/hub/session/' + this.sessionId + '/actions', 'post', {'actions': [{'type': 'drag', 'fromX': 600, 'fromY': 200, 'toX': 10, 'toY': 200, 'duration': 2}]},//这里滑动的坐标被我更改了
              () => {
                this.refreshScreen();
                resolve();
              });
          });
        } else if (this.config.editTypes.indexOf(action.source.type) >= 0) {
          /** 3. handle edit actions */
          return new Promise((resolve, reject) => {
            root.wdclient
              .send('/wd/hub/session/' + this.sessionId + '/element/' + action.data.value.ELEMENT + '/value', 'post', {
                'value': [action.input]
              }, () => {
                this.refreshScreen();
                resolve();
              });
          });
}

循环结束

整个页面的遍历会在什么时候循环结束呢?

// Terminate under the following cases:
  // 1. the previous node has been finished for continuously count of 8, assume crawling finish
  // 2. the crawling process takes too long and hence expire
  if (this.repeatingCrawlingCount >= maxRepeatCrawlingCount || this.crawlingExpires) {
    this.terminate('terminate due to timeout');
    return;
  }
  • maxRepeatCrawlingCount 爬行的最大层数 默认为8
  • repeatingCrawlingCount 当前爬行的层数
  • crawlingExpires 配置的时间 默认30min
页面深度设定规则
  • 该页面为新的页面 repeatingCrawlingCount = 0
  • 这个页面action全部被浏览完毕 且这个页面的父节点类型不是需要被过滤的repeatingCrawlingCount++ 这是根据代码里的逻辑得出的这样一个结论,没有进行具体验证。

NoSmoke官方爬行原理图

以上是我在通过打断点和页面效果观察过程中的一点记录,下面是官方公布的原理图,在上面做了小标志。官方高清大图请走链接Macaca 自动遍历器 NoSmoke 发布公测

从PPT上直接截取下来了

个人总结

以上就是在NoSmoke调研过程中的一点个人记录,主要从四个方面结合源码和执行效果进行了简单分析,如有错误或者疏漏之处还请指出。
NoSmoke本身提供了很强的hook配置,及用户可以自己定义一系列的Action,最后的页面展示页特别赞,本次调研未调研iOS相关,因为WDA好像……又出问题了……
马上就7月份了,这篇就作为上半年的blog收尾,即将到来的7月份-你好啊

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容