聊聊竞品体验对比评测（下）
这是鼎叔的第十篇原创文章。
行业大牛和刚毕业的小白，都可以进来聊聊。
欢迎关注本人专栏和微信公众号《敏捷测试转型》，大量原创思考文章陆续推出。
鼎叔在MTSC-中国移动互联网测试开发大会，以及深圳敏捷之旅中，分享了《提升用户体验的评测方案》议题，本文是相关系列主题文章的第六篇。
本文继续聊聊竞品体验对比测试实战的三个真实案例。
第三节 案例-手机浏览器页面加载速度
手机浏览器的页面加载速度测试：针对TOP热门网站，能否在不同网络，不同地域，不同时间段，能否都达到良好访问体验？和竞品比起来差距如何？
内部埋点方式成本很低，但是不适合做竞品对比。
页面是否加载完成，从人眼的角度是要页面渲染结束为止，因此从UI角度测试是最直接的。但是普通UI断言脚本的编写和维护成本比较高，我们可以尝试更高效的低成本对比方案-- 利用高速摄像头和OCR识别算法。
测试流程：固定高速摄像头，对准手机屏幕，打开浏览器，自动输入URL和点击“前往”，执行测试获取时间，完成日志抓包后，恢复环境。
选取高速摄像头的标准：需成像质量高，帧率高，容易稳定控制。拍摄时对焦清晰，固定好距离，可以用遮光纸板屏蔽环境光的干扰。如图所示：
控制录像开始和结束：可以获取摄像头（罗技摄像头）软件句柄，按相对坐标点击。
录制视频的分帧工具：选用FFmpeg，要求是能按毫秒命名，快速，录制尺寸小，不失真，可自动处理。
找准页面加载开始时间：打开手机的轨迹显示，视频分帧中出现第一张触摸白点时，开始计时。
找准页面加载结束时间：
1 出现首文字加载的时间，只要白屏的饱和度大于0，表示首字符出现，因为页面首先出现的内容是不确定的，所以可以利用图片饱和度算法来判断何时出现首文字或图片。
2 完成首屏加载的时间，可以用感知哈希算法，图像特征可以生成指纹，HASH不同，数据/图片也不同。用待识别图片和标准加载完成图片做快速特征对比。
处理测试数据：将不同城市，不同网络（5G，4G，3G，不同运营商），不同时间段，不同竞品的测试结果入库保存，注意每次测试连续测10遍，去掉毛刺数据，获得平均时间。
展示测试结果，关注改进趋势： 展示竞品对比的报表，数据曲线，可以按照日期，产品版本，测试站点等维度打开对比，方便开发分析问题。
通过长时间的对比差距和死磕，在核心指标评分上，仅仅半年，我们的产品加载速度就从低于对手30%，优化到和对手持平；再过3个月的改进，各项指标显著超越对手！
第四节 案例-地图导航APP
作为一个地图导航软件，用户体验的期望指标是什么？
路线规划正确，省路/省时间
语音播报时机合适，正确，简洁
基于真实路况的LBS应用，从用户角度验收的成本是非常高的，人工在外面路测，还需要车辆支持，更何况路线规划算法非常复杂，数据极其庞大。那测试团队该怎么做，才能真正推动用户体验的改进，推动开发不断完善算法呢？
还是从上述的核心指标出发，设置竞品对比评测方案：
先从最热门的路线规划中得到测评路径，当然，真实的线上数据就是我们的抓手：目前产品的热门城市是哪里（通常是北上广深），最热的路线query是什么，选取TOP100或者1000.
强大的竞争对手是哪几个？通常他们有服务SDK，可以直接接入调用，获得路线导航路线，以及关键结果数据。
通过自动化脚本对比，如果我们的导航APP，和几个竞品比起来，明显好于对手，或者明显差于对手，就把多方的路线结果截图，展示在自建的评测网站上，人工横向对比，非常方便。
人工对比看我们的路线是不是真的太长了？如果确实不如几个竞品，打上“bad case”标签，转发给开发进行优化。 如果我们的路线比对手都短，不要着急下结论，先人工检查是否有异常阻断（如修路，塞车，小区内部道路不可走，有关闭的大门等等），有的话结果也是bad case。
最终，开发根据我们提供的数据做了算法优化，在下个版本发布后，对所有的badcase,goodcase进行回顾，给出评价结论，优化目标是否达成。
我们还可以引入出租车用户的路线轨迹进行优化结果对照，因为通常出租车司机更为专业，熟悉路线。
语音播报，也可以建设类似的语音播报对比平台。
我们可以用手机模拟回放路线的GPS位置，记录下播报的位置，时间和播报内容，再做竞品对比评测（人工介入判断是否bad case）：
准确度：遇到复杂路线-如三岔口，环形路口，立交桥等，怎么行驶？
全面性：播报的关键提示信息是否齐全？
简洁性：播报的字数是否冗长？
播放时机：是否及时，有充分的操作时间，但又不会过于提前播报？
可以结合街景地图的回看，验证播报质量是否达标。
当然，随着众包平台的普及，也可以在众包上定向分发评测任务（根据用户的不同地理位置），让用户反馈导航异常结果，或者反馈与竞品有差距的导航结果。
第五节 竞品体验对比评测专题报告
竞品评测指标的持续报告，相对而言可读性和趣味性不高，考虑到用户体验需要站在用户视角上耐心挖掘思考，我们可以开展更加深入的“沉浸式”的用户体验活动：策划出品专题体验报告！
虽然在多数情况，产品经理/设计师会组织相关的竞品体验活动/脑暴，但是测试团队参与或者组织这类活动，有自己的关注点--找出客观的体验场景和质量指标维度，在未来的测试中提升敏锐度，而对产品设计的创意高低不去妄加评价。专业的体验对比报告也能给产品/业务团队以积极的输入，践行以体验为中心的企业文化。
因为是以一线竞品为对比角度，给出的建议更有针对性，度量目标更明确，也更容易被团队接受。
推荐的报告策划和执行步骤如下：
一，聚焦要对比的产品和功能领域，即专题视角。通常是用户焦点，投诉比较多的，或者关注者众的价值区域，也可以是代表未来产品发展的可能方向，但是还在探索之中。
我们这次的例子，就选用理财产品的社交化，作为专题领域。
二，挑选竞品，可以是同类属性的排名靠前理财产品，也可以是大平台的理财频道（业务模式相近），或者是在本次专题领域有突出口碑的产品。
三， 集体策划（脑暴）：安排一个安静的空间，一个集中的探索时间，安装好我方软件和竞品软件，进行沉浸体验，然后给出评价，集体探讨达成一致结论（如果结论比较多，投票出最关键的结论/措施）。在报告中用表格列出：竞品分析的具体场景，对比维度，对比截图和数据，从用户角度分析理由。
四，在对业务方发布的竞品对比评测报告中，建议结论先行，抛出测试方的评测结论（有赞有弹），最关键的优化建议是什么。注意给的建议一定是基于用户体验诉求，抓住可度量对比，尽量不加入个人主观好恶。
五，对于上述报告的分析和总结内容，得到参与成员的确认，并通过大家进一步的思考（意犹未尽），把希望更深入探索的对比指标/方向，纳入到下一期的竞品对比专题中，形成对比体验的系列报告。产品体验的创新改进之路，本质上就是探索出来的。
如下图，是理财产品社交化竞品对比体验报告的总结部分示例：
聊聊竞品体验对比评测（下）相关推荐
- 聊聊竞品体验对比评测（上）
这是鼎叔的第九篇原创文章. 行业大牛和刚毕业的小白,都可以进来聊聊. 欢迎关注本人专栏和微信公众号<敏捷测试转型>,大量原创思考文章陆续推出. 鼎叔在MTSC-中国移动互联网测试开发大会, ...
- miui系统android os,color os对比miui 一加手机刷Color OS与MIUI系统体验对比评测
color os对比miui,下面脚本之家小编将为大家带来一加手机刷Color OS与MIUI系统体验对比评测,感兴趣的朋友可以过来看一看! 一加创始人刘作虎曾在一加发布会上说,一加是一个开放性的平台 ...
- 市面上主流的音视频竞品分析对比
一.平台覆盖,传输协议对比 平台 声网 即构 腾讯 阿里 ucloud 网易 anyRTC Android 支持 支持 支持 支持 支持 支持 支持 iOS 支持 支持 支持 支持 支持 支持 支持 ...
- 高恪智能流控怎么设置_磊科285G智能QoS与高恪K2P智能流控多用户对比评测（下， 多用户对比测试）...
多用户对比评测: 1.多用户下载对比评测 5台PC分别接入磊科路由器与高恪路由器,同时开启迅雷下载,从下载速率可以看出,磊科智能QoS和高恪智能流控均能保证各PC公平使用网络速率,不会出现单台PC占用 ...
- 看了50+竞品分析，我总结出5个常见问题和1套方法论
毋庸置疑,竞品分析,是每个产品经理必备的技能.不管处于哪个阶段的产品,都时刻需要启用该技能做一些专题性的研究.笔者最近刚好在做一些新产品规划,看了很多竞品分析的相关文章,有一些小收获,因此做下整理,如 ...
- 分享一篇关于社区团购的竞品分析
1.行业分析 1.1 发展历史和现状 目前市场上有两大势力:一是互联网巨头,以滴滴.美团.拼多多.阿里最为活跃,其中滴滴橙心优 ...
- 爱奇艺视频与腾讯视频竞品分析
随着视频直播业的火爆,市场上视频直播的APP也层出不穷,这些APP主拼的内容和资源,更需进一步推动用户付费习惯的养成.从用户关注因素出发,以用户体验的多方面的校对市场上热门视频直播类APP进行对比分析 ...
- 产品方法论—如何竞品分析
一.概要 什么是竞品分析,单从组词法来说,竞品分析就是对竞争产品的分析,接下来将详细讲述到底应该如何进行竞品分析- 1.什么是竞品分析 在两个或者多个竞争产品之间,他们有什么样的商业模式,有什么样的定 ...
- 艾永亮：企业如何基于超级产品战略，构建业务架构，进行竞品分析
本文运用超级产品战略,从用户角度出发,以业务构架为基础,描述如何通过竞品分析打造超级产品. 在B端产品的创新过程中,许多产品经理都不愿意做竞品分析,这是因为在细分市场当中,B端产品的竞品分析成本非常高 ...
最新文章
- NSMutableString和NSString区别，及相互转换方法
- html输入框颜色属性,css 修改input输入框属性
- sql 中删除重复数据的方法
- AC自动机build时的一点小优化
- 通过QEMU-GuestAgent实现从外部注入写文件到KVM虚拟机内部
- mysql dml回滚_mysql binlog回滚/闪回，前滚， 分析各表DML情况， 找出长事务与大事务...
- 【我的相册】一瓶解千愁
- C语言之pthread_cond_wait()和pthread_cond_timedwait()区别(十五)
- TMS320C55x的硬件结构
- Python 必备要点总结及环境搭建（上）
- linux命令大全dfs,Linux常用的dfs命令
- getch方法_C语言中getch()函数详解(附实例)
- 高等数学同济第七版课后答案上册
- 双向循环链表实现—通讯录（学生管理系统，自行车管理系统，影院管理系统）—C语言课设（万能模板）—数据结构—用文件存储数据
- dede文章采集管理php,织梦采集规则如何写（织梦自带采集器写规则技巧）
- 金税盘显示frm000013_开票软件（金税盘版）2020年4月征期抄报方法/季报方法！
- 拼多多36W+的后端面经
- volte的sip信令流程_VoLTE主叫信令流程详解（有抓包截图详细介绍）
- 网络限制计算机连接怎么办,电脑本地连接受限制或无连接怎么办,教您解决方法...
- 网站搭建需要多少钱？如何搭建比较省钱呢？