1.前言

近年来,随着移动互联网的蓬勃发展,移动测试技术也取得了长足的进步,从早期基于测试脚本的单机自动化,到录制回放、图像识别、云测平台等测试技术贴合实际业务需求深度应用和创新,测试效率从而一次又一次被提升。

本文主要介绍支付宝在移动端上实现的一套无线化、非侵入、免 Root 的 Android 专项测试方案 Soloπ。直接操控手机,即可实现自动化的功能、性能、兼容性、以及稳定性测试等工作。

1.1 移动测试 1.0 时代

移动测试 1.0 时代,也可以称之为探索期。由于厌倦了日复一日的手工操作,如何提升测试效率成为了移动测试领域最重要的课题,在此期间,除了 Monkey、UiAutomator、Instruments 等官方提供的工具,业界还涌现了一批优秀的开源自动化测试工具/框架,在自动化驱动能力的基础之上,不仅可以实现基本功能的验证,还可以结合性能采集方案、遍历算法等实现各类专项测试的自动化。在这个阶段,自动化测试的常见形态是在单机或本地少数几台 PC 上部署测试环境,再利用 Jenkins 等工具实现持续集成。

1.2 移动测试 2.0 时代

伴随着测试技术的持续发展、又得益于 STF 的开源,业界开始出现了云测平台的概念,将真机设备、任务管理、自动化框架以及专项测试方案打包在平台中作为服务提供出去,给用户带来了一站式的测试体验。另一方面,远程调试、设备调度等技术的引入极大的提升了设备的利用率,测试人员不再需要为缺少测试设备或测试任务排队耗时而担心。对于云测平台用户而言,在此阶段常见的测试形态是:在本地 PC 上开发测试脚本,再上传至云测平台执行,最后可在平台中查看测试报告,测试流程简单且清晰。

1.3 移动测试 2.0+

在保留了上述“云测”的玩法之外,移动测试 2.0+ 时代下的测试技术提供的往往不再是某一个独立的小工具,更多的是带来一套完整的解决方案,例如为用户提供一套定制化的 IDE 环境,结合录制回放、图像识别等技术,用户可能只需要做一些简单的框选、拖拽就能完成测试脚本的开发。另一方面,由于办公环境、硬件条件等因素的限制,越来越多的测试人员希望可以在移动端上直接发起测试,做到移动测试“移动测”。当然,无论是云端、IDE 端、还是移动端,都应该做到能力互通,即“多端多通”,这样才能让测试方案更加灵活、适用于更多场景。

2.无线驱动的Android专项测试方案:Soloπ

“多端多通”的概念比较广,仅凭一篇文章可能无法阐述清楚,所以下面将会重点介绍为了迎接“移动 2.0+”时代,我们在移动端上实现的一套无线化、非侵入、免 Root 的 Android 专项测试方案 Soloπ。直接操控手机,即可实现自动化的功能、性能、兼容性、以及稳定性测试等工作。

2.1 整体架构

这套方案中,底层依赖主要是“无线 ADB、系统辅助功能、Chrome 调试以及图像识别技术”,后文将会介绍它们具体的应用场景。同时,在底层依赖的基础上,我们封装了一套核心能力,由“控件定位、事件驱动、性能采集以及依赖注入”组成,并在服务层实现了录制、回放、数据处理等公共服务能力。在架构的最顶端,结合界面交互逻辑包装出了各个功能的入口。

2.2 无线 ADB

大家都知道,对于 Android 自动化,ADB shell 的执行能力是一切的基础。

在 PC 上,通过 Android SDK 提供的ADB client 与同样运行于 PC 中的 ADB server 通信,再由 ADB server 通过 USB 与位于设备中的 Adbd 通信。要实现一套无线化的方案,必须要摆脱对 USB 线的依赖。好在 Android 系统还提供了一种基于 Socket 的 ADB 连接模式,既然是这样,那么只需要按照 ADB 通信协议在端上与本机的 5555 端口进行通信即可获得 ADB shell 的执行能力。

目前已经有一些实现 ADB 通信协议的 Java 开源项目,如 AdbLib ,他们封装了一套 ADB 的调试通信服务,能够替代 PC 上 ADB Server 的角色。我们在Soloπ应用中集成了 AdbLib 开源库,包装成一套 ADB 命令执行工具,为 Soloπ 后续各种专项测试能力的实现奠定了坚实的基础。下面将开始为大家介绍 Soloπ 的几大核心功能。

2.3 录制回放

录制回放功能基于 AccessibilityService、ChromeDevToolsProtocol、图像识别三种模式实现精确查找,可以在设备本地实现回放,也可以转换为 Appium/Macaca 等框架的脚本,对接云测平台。另外,为了降低用例维护的成本,我们在端上还提供了用例编辑、流程控制的功能。

2.3.1 实现方案

在录制过程中,Soloπ 会对用户的操作进行拦截,识别用户操作的位置,高亮当前操作的控件,记录用户当前要做的操作类型,在每一步操作后,将操作类型及目标控件的各种信息都记录下来。这里的控件信息包括控件的 ID、文字等基本信息,以及相对布局、截图信息等。

在回放时,Soloπ 会逐条解析之前录制的数据,通过智能查找算法,综合各种属性,定位目标控件,找到控件后,就会执行相应的操作,如点击、滑动等。在所有步骤执行后,会展示本次回放的结果,包括日志、截图等信息,作为本次回放的总结。

2.3.2 控件查找能力

对于传统的 Native 应用,通过 UiAutomator dump 获取的属性就足以实现自动化了。然而,随着移动端动态化能力的稳步发展,越来越多的应用采用了 “Native + H5/小程序” 这种混合开发的方案。再考虑到近年来手游行业的飞速发展,手机游戏自动化测试的需求也越来越多。为了尽可能的适配各种场景,Soloπ 提供了三种查找模式:

  • 第一种方案不必多说,核心就是基于 AccessbilityService 生成当前控件视图树,并记录下id、文字等属性,适用于 Native 场景
  • 第二种方案基于 Chrome 的调试协议,通过注入js可以获得页面布局以及各元素属性,控件的定位思路与辅助功能这一套方案是一致的。适用于 H5/小程序场景。
  • 第三种方案是图像匹配方案,Soloπ 在端上实现了一套图像比对能力,结合了模板匹配、特征匹配等算法,并做了一定的适配和调优。适用于游戏自动化的场景。此外,在 Soloπ 目前的方案中,图像匹配能力还会作为前两种定位方式的兜底方案,进一步的提升控件查找的准确率。

2.3.3 回放能力

通过 Soloπ 录制的用例会以 JSON 的形式存储起来,用例不仅可以向上述视频演示的一样在设备本地直接回放,还可以通过 Soloπ 的解析器将用例转换为 Appium、Macaca 等目前主流自动化测试框架的脚本,轻松打通云测平台。另外,得益于文本抓取和图像识别能力,Soloπ 还实现了在 Android 端录制一遍用例,生成的脚本能够同时在 Android、iOS 双端回放的能力。

2.3.4 更多功能

Soloπ 还提供了用例步骤的插入、删除、修改等用例编辑功能,可以有效降低用例的维护成本。另外,Soloπ 还引入了循环、条件等流程控制能力,若对用例进行合理编排,可轻松实现需要重复操作的工具脚本或是需要暴力回放的稳定性测试脚本。

录制回放更多的能力还包括结合数据 Mock 解决用例回放不稳定的能力、打通性能测试的能力等等。

2.4 一机多控

在各类专项测试中,兼容性测试是最为耗时费力的一项,测试人员需要关注各种系统版本、各大手机厂商,各种类型的屏幕等等,想要通过纯人工测试来保证兼容性测试的质量成本是非常高的。

Soloπ 在录制回放能力的基础上实现了一套兼容性测试的解决方案。在录制回放的场景中,我们先是在一台设备上记录了用户的操作,然后再在任意一台设备上实现操作的回放。如果把场景扩展到多台设备上,就可以实现通过一台设备操控多台设备,我们把这套功能称为“一机多控”。具体说来就是主机与从机建立 Socket 连接,然后在主机上将用户的操作实时发送到各个从机,在从机上完成操作的回放。

一机多控的环境搭建比较灵活,手边的手机在安装 Soloπ 后,通过简单的建联操作即可完成部署。一机多控适配了目前市面上主流机型和 ROM,并封装了一些提升测试效率的快捷功能,如应用安装、数据清理、设备信息查看等等。

2.5 性能测试

提到专项测试,不得不提性能测试。近年来,手机应用成为了人们日常生活中不可或缺的一部分,这也对应用的使用体验提出了更高的要求。 为了给用户带来“丝般顺滑”的体验,仅仅实现功能是不够的,而性能测试,就是打造优质应用不可或缺的一个环节。然而,性能测试的开展并不是很容易,一方面,性能测试具有一定的门槛,很多时候需要开发脚本去实现,还要去处理各类兼容性问题。另一方面,大多数性能测试方案获取到的都是一些基本指标,难以发现深层次的问题。针对上述问题,Soloπ 实现了一套性能测试工具。包含常规性能指标获取、响应耗时计算以及移动 Lighthouse 三方面功能。

2.5.1 常规性能指标获取

Soloπ 支持 CPU、内存、fps、流量等常规指标的实时获取,同时支持将性能数据记录下来,存储到本地并通过报表形式展示。Soloπ 还提供了数据上传的功能,可以将数据发送给服务端做进一步的处理。整套性能工具支持手动触发和广播触发,可以和自动化测试轻松打通。

2.5.2 响应耗时计算

除了常规性能指标的获取,Soloπ 还提供了响应耗时计算的功能。大家都知道,计算响应耗时的一种常用方法就是基于代码埋点或是系统日志(比如 activityDisplayed Time),但是这种方法计算得到的结果对于异步加载较多的界面来说会与用户实际的观感有比较大的偏差。

Soloπ 基于录屏分帧能力实现了一套计算接近用户体验的响应时间的方案。具体的说,在开启录屏后,Soloπ 会基于 ADB shell 的 get event 命令监听屏幕的点击事件,将其作为计算响应耗时的起点,当录屏结束后,Soloπ 会从后向前倒序对视频进行对比,查找出界面趋于稳定的时间点,并作为计算的终点,二者相减就是响应耗时。

2.5.3 移动 Lighthouse

H5/小程序等技术在移动应用中的占比越来越高,如何测试这类应用的性能成为了一个新的课题。接触过前端性能的同学都知道,Lighthouse 是前端性能测试的利器,但是它无法在手机上直接应用。而 Soloπ 所做的,就是基于 CDP 协议,在客户端中实现了一套 Lighthouse 性能测试工具,它可以获取 H5/小程序页面的启动性能、资源流耗、请求质量、JS 质量、JSAPI 调用情况与页面信息,并内置了 30 余条前端开发最佳实践,旨在发现细粒度的性能问题。

具体的实现方案,就是将 Soloπ 与待测应用建立基于 CDP 协议建立 Websocket 通信,监听页面发起请求、接收数据、开始加载等事件的回调、并收集报错、Trace 等数据。再按照启动性能、资源流耗、请求质量、JS 质量、 JSAPI 调用情况与页面信息 6 大维度进行数据的分类和整理,随后通过内置的规则对采集到的结果进行判断,最终生成报表并在界面中展示。

原文链接
本文为云栖社区原创内容,未经允许不得转载。

Soloπ:支付宝开源的Android专项测试工具相关推荐

  1. Android测试solo,SoloPi支付宝开源的 Android 专项测试工具的介绍与快速上手

    SoloPi支付宝开源的 Android 专项测试工具的介绍与快速上手 SoloPi:支付宝开源的 Android 专项测试工具的介绍与快速上手 MTSC2019大会上,Soloπ算是一次正式的在公众 ...

  2. socket 测试工具_Soloπ:支付宝开源的Android专项测试工具

    1.前言 近年来,随着移动互联网的蓬勃发展,移动测试技术也取得了长足的进步,从早期基于测试脚本的单机自动化,到录制回放.图像识别.云测平台等测试技术贴合实际业务需求深度应用和创新,测试效率从而一次又一 ...

  3. Android专项测试性能篇整理

    Android专项测试性能篇整理 转自 slq520 分类专栏: APP性能测试 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:h ...

  4. [原创]Android Monkey测试工具使用介绍

    [原创]Android Monkey测试工具使用介绍 1 Android Monkey介绍 Monkey是Android中的一个命令行工具,可以运行在模拟器里或实际设备中.它向系统发送伪随机的用户事件 ...

  5. 测试android兼容性测试工具,Android兼容性测试工具Spoon

    android分布式测试工具. 简介 android众多的版本和机型给android app测试工作带来不小的挑战.Spoon通过将case分布式地执行.将执行结果更友好地展示出来,从而简化andro ...

  6. Android 基本测试工具的使用

    Android 基本测试工具的使用和无线学习介绍 1,日志查看工具 1)DDMS Android测试中,使用最多的日志查看工具就是DDMS了. ddms可以从两个地方打开,1,Eclipse的的ddm ...

  7. 十大开源Web应用安全测试工具

    点击蓝字关注我们 Web应用安全测试可对Web应用程序执行功能测试,找到尽可能多的安全问题,大大降低黑客入侵几率. 在研究并推荐一些最佳的开源Web应用安全测试工具之前,让我们首先了解一下安全测试的定 ...

  8. MTK CVE-2020-0069 使用方式,以及Android端测试工具

    本文章主要分两部分 1.漏洞说明 2.Android端测试应用和工具,用于测试机型是否受到影响 谷歌在2020年3月的Android安全公告中提到,新更新已经提供了CVE-2020-0069补丁来解决 ...

  9. Android 通过串口获取设备号 android串口测试工具 完整解析

    前言 android 工业平板RK3399-all 调试有关串口的设备 如何获取对应的串口设备及串口名字 先来一张图说明 获取串口 SerialPortFinder mSerialPortFinder ...

最新文章

  1. 大型数据库设计原则与技巧
  2. sc修改服务器,华为sc服务器配置方法
  3. mysql+keepalived搭建高可用环境
  4. Day11多态部分-6 【1.4 多态的应用以及注意事项】
  5. 为什么SpringBoot如此受欢迎?如何有效地学习SpringBoot?
  6. 计算机专业人毕业设计外文翻译,计算机专业毕业设计外文翻译.doc
  7. python selenium爬虫需要账号和密码登陆的网页_如何使用selenium和requests组合实现登录页面...
  8. 详解 MySQL 基准测试和 sysbench 工具
  9. 【Luogu1588】丢失的牛
  10. Java通过JNI调用C++的DLL库
  11. 文件、异常、模块——初步了解
  12. caffe 实践程序2——用细分的方法实现caffe中cifar100的识别
  13. Golang研学:defer!如何掌握并用好(延迟执行)
  14. 【Linux】CentOS 学习笔记之一(安装配制)
  15. Python GUI项目:文件夹管理系统
  16. 抽象代数 04.01 群的生成元组
  17. MVVM 模型是一种实现双向数据绑定的框架设计原理。
  18. vue_按需引入elment、echarts和路由懒加载,减少打包体积
  19. 极验验证简介(待续)
  20. 【渝粤题库】广东开放大学 税务会计技术 形成性考核

热门文章

  1. c语言函数的使用步骤,c语言打开文件函数使用方法
  2. linux下openldap版本查询,用openldap进行linux认证
  3. php入门和常用类的使用,php入门教程之常用数据类型和基本语法
  4. python3 web服务器_python3 简单web服务器
  5. 【LeetCode笔记】剑指 Offer 20. 表示数值的字符串(Java、字符串)
  6. 【LeetCode笔记】169. 多数元素(Java、摩尔投票法、哈希表)
  7. python如何确定拐点_python – 在样条拟合1d数据中找到拐点
  8. spring 2.0核心技术与最佳实践 pdf_推荐 Spring Boot 实践学习案例大全 数据缓存 和中间件 安全权限...
  9. java的流传输的进度条_JAVA程序设计(17)----- 制作文件拷贝软件 进程 输入流输出流 NIO 进度条 底层拷贝 多线程...
  10. linux awk if 多个条件,linux shell awk 流程控制语句(if,for,while,do)详细介绍