一、引言

随着移动互联网的蓬勃发展，国内手机用户已经达到6亿以上，但由于移动APP的产品迭代周期短，且使用的机型、网络和场景，都比原来PC端更加多样化和复杂化。传统的测试方法，在测试时间、机型网络覆盖等问题上，都显得力不从心。企鹅众测（也称Tesly平台）力图通过让用户协助测试的方式，来解决上述问题。

企鹅众测产品白皮书（下称”白皮书”）将从产品研发背景、Tesly功能特点、典型应用、工作流程和收费模式几个方面来介绍企鹅众测平台。

二、产品研发背景

1、行业现状

目前，国内在软件众测领域，主要有企鹅众测、百度众测和Testin众测三个众测平台。

（1）百度众测

主要服务于内部的数据收集类任务，偏向于众包形式。

（2）Testin众测

提供第三方产品的Bug探索服务，团队作业（21人），业务模式单一。

（3）企鹅众测

累计服务腾讯内部几十款产品，并获得良好口碑。业务模式上，除了Bug探索，还提供竞品对比评测、软件性能评测、跨APP H5测试、Crash定位、产品体验等服务，并可动态指定测试用户人数（最多单任务可达到千人级别）。

2、企鹅众测的优势

图1企鹅众测的优势

（1）用户覆盖广

主要体现在遍布全国的真实用户、覆盖上千款机型和所有运营商网络，真实的用户使用场景。

同时，Tesly支持按照地区、网络、机型的多重条件过滤

（2）快速的交付

普通任务两天内交付结果报告。

紧急任务4小时内交付报告。

（3）详尽的报告

任务用户反馈统计报告，版本质量一目了然

反馈详情：提供文字、图片、视频、logcat、机型等各种信息

三、企鹅众测介绍

1、概述

企鹅众测是让真实用户参与测试的一个平台，APP研发团队提出众测需求给Tesly平台，平台将众测需求下发给用户，并收集用户反馈，最后生成测试报告给APP研发团队。

企鹅众测支持应用、游戏、H5混合应用等多种产品形态，3.2节将详细介绍Tesly支持的能力类型。

2、能力介绍

目前Tesly支持下面的服务Bug探索、产品调研、数据收集和产品评测四大类任务类型。

图2企鹅众测支持的任务类型

（1）Bug探索

1）真人真机众测

真实用户参与测试，包括模块化测试、全量测试等，用户的使用场景多样，机型、网络和地域分布广泛，能够发现更多内部测试无法发现的问题。同时，可以让产品预先知道产品上线后的情况，增加发布信心。

2）机型适配（兼容性测试）

针对某个或者部分出现问题的机型，下发给该机型的用户进行测试，节省了大量购买手机的费用和时间。

3）Bug复现

对于某些用户反馈的bug，内部无法复现或者复现代价过大，可以交给众测，让成千山万用户同时协助进行Bug复现。

（2）产品调研

1）问卷调查

针对产品的某项功能或产品原型，下发调查问卷收集用户的想法和意见，辅助产品经理对功能进行决策和了解功能在用户中的口碑。

（3）数据收集

1）数据标注

数据标注类任务，主要解决因数量庞大而内部需耗费大量人力和时间的问题。最常见的是：地理位置收集类、小说内容错误类等。

2）问题库建设

问题库建设，主要是满足项目组可以快速拿到出现问题的样本进行验证的需求，问题库一般包括但不限于：文件库、视频库、网页库等。

在产品开发过程中，经常出现用户反馈了问题，但是内部无法拿到相应的问题样本进行验证的情况，比如：手机浏览器的文件打开功能，经常出现用户反馈某类文件显示有问题，但是内部无法找到出现该问题的文档。

（4）产品评测

1）产品评测

产品评测类，主要是让用户对产品进行深度体验，并提供功能体验报告，报告内容涉及：产品各项功能体验情况、对产品的建议，并提出不合理的设计和Bug。

2）竞品对比

竞品对比主要是从用户角度，实际体验产品和竞品之间在功能、性能等负面的差异，包括但不限于：用户主观感受、性能数据、优劣势等。

3、用户介绍

（1）平台用户量

目前，众测平台用户注册数10万，每月活跃用户接近1万，用户来自全国各个省份地区，覆盖了国内所有的运营商网络，基本覆盖了所有安卓主流机型（上千款）。

（2）年龄和职业分布

众测平台的用户偏向于年轻化，24岁以下的用户居多，大部分是高中和大学生。

图3众测用户年龄、学历分布

（3）机型覆盖

众测用户覆盖上千款机型，top机型为小米、魅族、华为、联想等国内主流机型；安卓系统方面，覆盖了Android2.3~6.0的所有操作系统。

图4众测用户机型分布

图5众测用户系统分布

（4）网络覆盖

众测用户覆盖国内三大运营商的所有网络类型，运营商包括：移动、联通和电信；网络类型包括：WIFI、4G、3G和2G。

图6众测用户网络分布

（5）地域覆盖

从地域上看，众测用户覆盖全国所有省份和地区，其中以广东、河南、山东为最。

图7众测用户地域分布

四、典型应用和案例

1、典型应用场景

表1：企鹅众测典型应用场景

2、典型应用案例

（1）Bug探索

1）真人真机众测

表2：企鹅众测案例-Bug探索

2）机型适配（兼容性测试）

表3：企鹅众测案例-Bug探索

3）Bug复现

表4：企鹅众测案例-Bug探索

（2）数据收集

1）数据标注(快速判断)

表5：企鹅众测案例-数据收集

表6：企鹅众测案例-数据收集

2）问题库建设

表7：企鹅众测案例-数据收集

（3）产品评测

1）竞品对比

表8：企鹅众测案例-产品评测

五、工作流程

图8众测接入流程

1、需求沟通

需求提供方，只需要提供下面材料给众测平台接口人即可：

1）需求关注点；

2）需求关注点对应的截图；

3）如果是内测软件，请提供安装包；

4）『可选』众测平台提供自动上传附件功能（包括项目组自己打的log、记录文件等），如果需要众测协助上传，只需要将附件写到Tesly指定目录下即可；

众测平台接口人收到测试需求后，会第一时间与需求提供方进行沟通确认，确认完毕便可向用户发布众测任务，确认阶段耗时一般不会超过半小时。

2、任务分发

Tesly通过众测平台后台，向用户分发众测任务，发布的用户群体支持机型、地区、网络等多种维度的筛选，满足任务条件的用户可以在Android客户端/PC网页端接收测试任务。

任务分发到用户侧，1天内召集300~500的测试用户，2天内可以召集500~1000的测试用户。任务分发的时间长短，由需求提供方指定。分发过程由众测平台完成，项目组不需要投放人力参与。

3、反馈收集

用户通过Tesly客户端/PC端网页端，可以方便的提交反馈到Tesly后台，后台会自动将反馈提交到对应的任务。

普通任务上线1~2天，便可以完成反馈收集的目的。反馈的数量，跟众测的产品和任务需求息息相关，普通测试类任务，一般能够收到100个以上的用户反馈。

4、反馈跟进

需求提供方通过众测后台对反馈进行跟进，包括对反馈进行查看和标注（标为重点关注，标注完成后，非重点关注的反馈，将由众测平台统一关闭）。反馈支持一键导出到Excel，如果是腾讯内部产品，支持一键转到Tapd。

在此阶段，需求提供方需要投入人力对用户反馈进行跟进，而如果对每个用户反馈的问题都跟进，势必会投入过多的人力和时间，众测平台建议按照优先级从高到底来跟进用户反馈：

1）严重Bug提单跟进；

2）反馈人数在两个以上的Bug提单跟进；

3）可复现或者有Logcat信息充足的Bug提单跟进；

4）其他的Bug，视投入产出比而定。

5、任务报告

当项目组筛选完用户反馈之后，众测平台会自动生成任务报告。

6、反馈举例

下面通过一个具体的bug，来介绍用户反馈包含的内容：文字描述、截图、视频、log、机型、网络等信息。

在bug详情页面，可以通过点击用户QQ号，直接跟用户进行联系，省去添加好友的繁琐步骤。

图9众测Bug详情举例

关注微信公众号：腾讯移动品质中心TMQ，获取更多测试干货！

【腾讯TMQ】众测白皮书相关推荐

【腾讯TMQ】众测实战经验小结
导读随着互联网浪潮的推进,手机App进入了高速发展期,随之而来App的"不可替代性"也越来越弱化.有数据显示,用户对App出现问题的容忍度呈现越来越低的趋势,在这种背景下,App ...
【腾讯TMQ】穿山甲系列之老司机的千里眼——穿山甲SDK
作者:邓曦团队:腾讯移动品质中心TMQ 一.背景 APP发布后,在用户侧出现的问题统称为"线上问题".如果"线上问题"出现了: 解决率低存在时间长的情况, ...
【腾讯TMQ】【AI专栏】语音合成系统评测介绍
前言语音合成(Text To Speech,TTS)技术将文本转化为声音,目前广泛应用于语音助手.智能音箱.地图导航等场景.TTS的实现涉及语言学.语音学的诸多复杂知识,因实现细节的不同,TTS ...
【腾讯TMQ】TTS评测--方案介绍和实践分享
导读语音合成(Text To Speech,TTS)技术将文本转化为声音,目前广泛应用于语音助手.智能音箱.地图导航等场景.TTS的实现涉及到语言学.语音学的诸多复杂知识,因合成技术的区别,不同的T ...
【腾讯TMQ】悄悄问女儿，圣僧美不美——记鹅厂测试人的一天
大家新年好! 久别重逢非昨日,万语千言不多谈.趁着年味还未散去,今天小编向您推送生活小文--记鹅厂测试人的一天,敬请欣赏~@^_^@~ 楔子小学的时候写了好多作文,什么"放学路上" ...
PMCAFF产品众测 | 对话随手攒CEO聊聊这款产品的设计、推广和改进(活动已结束)
PMCAFF产品经理社区全新栏目 PMCAFF产品众测即日起正式开启!在这里你可以尽情发挥思路,参与每一款产品的设计.运营和改进,快来释放你体内的洪荒之力,这里就是你的主场! 获奖名单公布: 随手攒 ...
“今朝安全众测平台”正式启动运行
2021年5月19日,由中国信息产业商会指导,中国信息安全测评中心组织运营的"今朝安全众测平台"正式启动运行,提供网络安全众测服务. "今朝安全众测平台"启动运 ...
【腾讯TMQ】基于模型的自动化测试工具——GraphWalker
一.概述 GraphWalker就是一个基于测试模型的用例生成工具.它主要应用于FSM, EFSM模型.可以用来它可以直接读取FSM, EFSM图形模型.json模型.生成测试用例. 二.背景知识要 ...
【腾讯TMQ】MBT探索系列 – PRE/POST 模型在网络接口测试MBT的应用和探索
目录 ⊙MBT 是什么? ⊙PRE/POST 模型是什么? ⊙如何建立PRE/POST模型? ⊙OCL是什么? ⊙OCL怎么建立PRE/POST模型? ⊙PRE/POST模型MBT 实践一.MBT是 ...
【腾讯TMQ】走进标准化测试
一.引言为避免大篇幅的概念介绍,我们直接从项目实践入手,为读者朋友理解标准化测试.在开始,只要理解标准化测试是为了解决项目测试实际问题而产生的测试方案即可. 二.背景介绍手机QQ浏览器(iPhon ...

【腾讯TMQ】众测白皮书