App 性能测试分享

在本文内，主要以Android性能测试为主进行分析

一、性能测试包含

　　1、启动时间测试

　　　　测试场景包括 - - - 首次安装启动时间、冷启动、热启动测试

　　2、页面响应时间：

　　　　用户从点击一个控件，到下一页面主页面完全展示的时间；

　　3、基础度量指标

　　　　像cpu、内存（pss、vss、uss）等、网络、API接口大小，接口响应时间、电池、电量、温度等

　　4、Monkey测试

　　　　通过Monkey命令或脚本；执行模拟测试，主要针对的app的稳定性测试和健壮性测试；我们的测试团队对Monkey也做了一些改进开发工作，在Monkey测试过程中发现ANR或者崩溃时，自动收集崩溃堆栈调试信息，以及该anr或crash对应的上下文信息，自动上传到bug管理系统；

　　5、对比测试

　　　　一般为Elong内部版本之间对比；以及Elong与其它同类App之间的对比测试；对比测试一般只有在业务、UI或技术实现有较大变动时，才会去做。

接下来主要详述一下页面响应时间的测试和基础性能指标的测试方法

二、页面响应时间测试

　　据我目前所知，页面响应时间有如下几种测试方法

　　1、高速摄像机

　　　　通过高速摄像机来拍摄录像，在回放的过程中数帧的方法，来统计响应时间；比如每秒可以拍摄25帧，那每帧的耗时大概是40ms；若某个页面响应时间为30帧，则该页面的响应时间为1200ms；

　　　　该方法的缺点为：

　　　　　　（1）效率低下

　　　　　　（2）测试结果的准确性，依赖于测试人员的主观判断；　　

　　 2、通过页面日志埋点

　　　　通过在一个Activity中或才2个相关的上下两个Activity中，埋入2条日志，然后计算这2条日志之间的时间差；目前艺龙使用的是该种方式。

　　　　该方法的缺点：

　　　　　　1、响应时间依赖于开发人员打点位置的精确性；比如RD并没有将打点打在主线程渲染的结束，而是打在onCreate()方法的开始，或打在某个异步线程里，都会造成测试结果的不准确；

　　　　　　2、需要构建上下文日志计算模型；随着业务迭代及打点需求的变更，也需要一定的人力成本来维护这些计算模型；

　　　　让我们看一下艺龙日志埋点的一个示例：

　　　　从左侧搜索首页中点击【查找酒店】这个Button时，会触发一条类型为Click的日志；在下一酒店列表页主页面渲染完成时，会打印一条类型为show的log；精简之后的日志如下（为了某些方面的原因，日志格式和内容作了一些混淆）：　　　

　　　　　　　　从左侧的三个字段及右侧的三个字段，可以构建一个“点击展示”模型，然后通过两条日志的时间戳的差值，就可以算出用户从点击这个Button到hotelList页完全展示所经历的时间，大概为1.42秒；

　　　　这也最接近于真实用户所感受到的页面响应时间；

　　3、通过内嵌SDK

　　　　之前听过某大型互联网公司某位测试大牛的分享，他们的做法就是在整个App里内嵌了一个SDK，通过这个SDK去统一监控统计所有Activity的响应时间；无疑这种方法的效率是最高的；

　　4、通过图像识别的方法

　　　　在16年12月3号360举办的测试之美交流会上，360的一个测试同学提出的基于图像识别的测试方法；主要使用到了stf和sikuli 2种框架；

　　　　stf - - - 一种基于web的智能手机管理平台，它的另一个作用就是可以在web上实时显示手机UI；这也为基于图像识别的测试提供了基础；传送门 stf

　　　　sikuli - - - 基于图像识别的一种脚本语言；我们也可以认为它是一种自动化测试框架；它的脚本示例：

　　　　　代码示意：在当前页面中，点击【查找酒店】这个Button；在接下来的5秒内，如果在下一页面中找到了某个图片所对应的酒店，则认为该页面渲染完成；并打印一条true ；

　　　　　从脚本示例中我们可以看出，该脚本方法的参数都是一种屏幕截图；所以从理论上讲，只要会截图就可以写出这样的测试脚本；而360的同学，相当于是在上面代码的第一行和第二行后面，各插入一个时间点代码，然后计算这2个时间点之间的差值；就可以计算出页面的响应时间；

三、基础度量指标

　　像CPU，内存，流量，FPS，电量等性能指标的获取，一般有以下几种方式：

　　　　1、通过Android shell的命令；如 top、dumpsys meminfo/cpuinfo 包名/pid 等等；

　　　　2、通过Android sdk提供的一些接口；

　　　　　　像获取内存可以用 ActivityManager.getProcessMemoryInfo(pid)；获取流量可用 TrafficStats.getUidRxBytes(Integer.parseInt(uid)) 及 TrafficStats.getUidTxBytes(Integer.parseInt(uid)) 2个方法；

　　　　3、通过eclipe或AndroidStudio的插件；

　　　　4、通过第三方测试工具，如腾讯的GT、WeTest，网易的Emmagee，阿里的易测(easyTest) 等；让我们来作一个简单的对比

四、第三方测试工具的原理

　　　　通过阅读Emmagee的源码可知，数据采集原理就是在第三节中提到的1、2两种方法；让我们用一张图来表示下；

五、艺龙的性能测试工具ETest

　　　　ETest是在Emmagee的基础上作了大量的改进；ETest致力于解决以下几个问题：

　　　　1、Activity响应时间的获取

　　　　　　其它公司提供的一些第三方测试工具，由于其功能的通用性，均没有对页面响应时间提供支持；这也是ETest的核心功能；也是很多分析指标的基础；

　　　　2、提升时效性，所测即所得

　　　　　　像Emmagee或者GT，在测试完成后，才会拿到一个测试结果的csv文件，还需要利用Excel转化成图表再进一步分析；这样会有一个较高的数据延时，即使发现一些性能异常，也很难回忆起当时所作的一些操作行为；更不要说一些上下文信息了(比如当时一些Rest接口的响应时间及响应大小，当时的网络情况，app打印的一些Debug 日志等)；ETest的实时性能数据渲染，效果如下

　　　　3、充分利用日志

　　　　　　我们在测试的时候，多是用Debug版本来测试；Debug包一般会打印丰富的日志，像一些接口交互日志，操作行为日志，上下文日志等；这些日志在我们执行功能或性能测试的过程中都非常有用；Emmagee充分挖掘和利用了这些日志（特别针对艺龙Debug版本开发的）；在测试完成后，可以随时查看某个性能节点2分钟之内日志；方便问题的定位；

　　　　4、历史数据有充分利用

　　　　　　ETest很好的利用了历史测试数据。比如我们使用测试工具对某个版本执行了30轮次的测试，我想统计一下某个页面或某个接口在某个版本（或某款机型）上的平均及最大响应时间；或者我想对比一下任意两次测试集的测试结果，查看一下性能优化效果；在ETest只需简单的点几下就可以看到。

　　　　　　测试集汇总分析：

　　　　ps：受篇幅和排版限制，每张图片只截取页面部分功能和部分图表

六、后续计划　　　

　　　　1、Monkey测试及自动化测试集成

　　　　　　　　　通过对Monkey和自动化测试的集成；可以将部分性能测试解放出来，在做其它类型测试的时候，同时也做了性能测试；对于性能数据的积累和分析也很有好处；　　　　

　　　　2、对IOS测试的支持

　　　　　　　　　目前ETest对于IOS的支持已经在开发进展中；计划于2017年上半年实现支持；　　　　

　　　　3、抽象出SDK和RestApi接口

　　　　　　　　无论任何app测试平台，想接入性能测试，均只需要简单的嵌入sdk和配置Rest服务地址即可；

　　　　4、开源

　　　　　　　　ETest使用的技术和类库，都是基于开源的产品；我们也会在不久之后将ETest开源出来；受益于开源，回馈于开源；也希望感兴趣的同学给我们提供建议和意见；进一步完善我们的成果；

标签: app性能测试

App 性能测试分享相关推荐

App性能测试揭秘（Android篇）
阿里云云原生应用研发平台EMAS 李嘉华(千瞬) 简介: 性能测试在移动测试领域一直是一个大难题,它最直观的表现是用户在前台使用 App 时的主观体验,然而决定体验优劣的背后,涉及到了许许多多的技术 ...
如何进行app性能测试，app性能测试应关注的测试点
随着智能化生活的推进,我们生活中不可避免的要用到很多程序app.有的APP性能使用感很好,用户都愿意下载使用,而有的APP总是出现卡顿或网络延迟的情况,那必然就降低了用户的好感.所以APP性能测试对于 ...
如何做好APP性能测试？
随着智能化生活的推进,我们生活中不可避免的要用到很多程序app.有的APP性能使用感很好,用户都愿意下载使用,而有的APP总是出现卡顿或网络延迟的情况,那必然就降低了用户的好感.所以APP性能测试对于 ...
APP性能测试——流量测试(二)
续上文:APP性能测试--流量测试(一),上篇文章介绍了如何通过代理工具抓网络请求,通过代理抓包我们可以抓到http和https请求的详细信息,由于代理我们需要连接wifi,很难抓取到4G网络下的流量 ...
如何进行App性能测试？iTest工具助力你轻松实现！
目录引言功能简介基本功能使用说明其它功能 iTest数据上传功能 iTest使用注意事项引言如何使用iTest工具进行App性能测试. 在如今这个高度竞争的移动应用市场中,用户对于应用程序 ...
性能测试分享：系统架构
性能测试分享:系统架构转载于:https://www.cnblogs.com/poptest/p/4904584.html
浅谈APP的分享功能，有时候社交裂变形式比内容更“重要”
回顾2018年的移动互联网,"社交裂变""下沉"等成为年度关键词.一方面我们可以看到社交裂变助推用户增长,另一方面我们也看到了以拼多多.趣头条为代表的互联网企业 ...
关于APP性能测试脚本录制的四种方法
大家好,近段时间很多人问我关于APP性能测试方面问题.一直是打算发表的,由于多方面的因素拖到现在,有次公司让我给客户讲解APP性能测试,回来后就一直觉得有必要写下.好了,不多废话. 目前版本LoadR ...
如何做好App性能测试
如何做好App性能测试,App性能测试和网站性能测试不一样,它分成客户端性能测试和服务器性能测试,下面我们详细来说明: 1.客户端性能测试一个App做的好不好,不仅仅只反应在功能上.被测的app在中 ...

App 性能测试分享

App 性能测试分享

在本文内，主要以Android性能测试为主进行分析

一、性能测试包含

1、启动时间测试

2、页面响应时间：

3、基础度量指标

4、Monkey测试

5、对比测试

二、页面响应时间测试

1、高速摄像机

2、通过页面日志埋点

3、通过内嵌SDK

4、通过图像识别的方法

三、基础度量指标

四、第三方测试工具的原理

五、艺龙的性能测试工具ETest

1、Activity响应时间的获取

2、提升时效性，所测即所得

3、充分利用日志

4、历史数据有充分利用

ps：受篇幅和排版限制，每张图片只截取页面部分功能和部分图表

六、后续计划

1、Monkey测试及自动化测试集成

2、对IOS测试的支持

3、抽象出SDK和RestApi接口

4、开源

App 性能测试分享相关推荐

最新文章

热门文章