测试开发如何撕起来~~~

测试流程

版本提测、集成、发布计划与大盘保持一致

RD自测(冒烟不通过的要求RD录自测视频,提测不通过发邮件打回,0106版本打回一次)->提测->提测前PM验收需求基本功能(目前这个点S2做的不是很好)->QA冒烟测试(功能分工:双列 单列 深色 浅色,iOS端分配给外包工作量50%;新需求埋点正式员工投入100%,脚本对比测试,无需外包支持新埋点测试)->主功能测试:一轮测试完成,交换模块测试->一灰集成前埋点测试(外包:老埋点投入100% 采用脚本对比双端测试)&&一灰集成前功能回归测试(外包、正式)->如遇性能测试,目前外包支持测试

(1209至今iOS端性能测试1次)->bugfix->二灰集成&&iOS发布前审核测试->正式包回归测试

1.1 搜索SDK客户端 | iPhone端1209版本

风险:2月3日18:00,一灰集成当天临近下班提测

解决办法:加班支持测试,凌晨2:40集成成功

遇到的问题:双端二级页未曝光;iOS端选集 查看详情,埋点日志格式错误,由于修复老的埋点问题引入了新的bug,未登录状态点击vip缓存按钮crash。一灰紧急集成

1209原tab改造 sug等bug,在1223版本解决的个数为 46 个,1209版本共 93 个bug

1.2 搜索SDK客户端 | iPhone端1223版本

风险:原tab改造、sug功能等,发现bug40+,共108+

解决办法:iOS端RD周末集体加班1-2PD进行开发,QA周末加班1PD支持测试。由于以上需求要覆盖深色浅色模式等,业务量较大,由于PM决定双端1209以上需求暂不上线,延顺至1223版本

遇到的问题:双列需求tab改造存在不稳定复现的bug(目前观察日志为传参不稳定),双列埋点绝大数未开发,修复老的bug总会引起新增bug

1223版本BUG数目共 149 个 Android 端 33 个;iOS端 69 个;服务端 11 个;剩余为其他bug,

1.3 搜索SDK客户端 | iPhone端0106版本

风险:原计划周二提测,实际周三下班前提测,提测delay 1PD。

解决办法:由于周二早上一灰,需要周一晚上集成。综上,预计周末RD QA集体加班1-2PD

遇到的问题:语音bug较多;会员权益与支付业务线联调未通过;默认页话题后端接口暂未开发好,无法联调

0106版本BUG数目共 86 个 Android 端 14 个;iOS端 43 个;服务端 13 个;剩余为其他bug,

1209版本至今存在的问题总结:

Bad:

服务端预发环境经常不稳定,kg卡片引擎返回的字段错误,导致前端样式错误等,多个版本阻碍客户端测试

tab改造bug太多,反反复复一个bug不能完全修复,总会引起新的问题

iOS端提测较晚

历史埋点问题应该哪个版本修复?目前都移到线上bug专项,关注度不是很高,后续每个迭代版本与PM确认修复一部分线上问题

Good:双端传参ob noqc category等测试,统一双端传参

双端埋点测试采用脚本对比,提高效率,准确对比



项目回顾0225

测试人员任务分配:新架构功能AB跟进,CD优先支持0225老架构测试

由于Android端新架构需要与0225需求代码分支合并,在0225一灰时发版,故之前的QA人力主要集中在Android端测试,且iOS提测时间较Android晚2天,且存在的bug较多;iOS0225一灰时,由于iOS新架构测试进度较慢,问题较多,iOS新架构代码并未合入0225分支

QA测试时间仅1.5天,组内按测试case模块分工,0220晚上加班通宵测试(负责新架构功能测试的QA提交bug时间较晚)

项目回顾0311

测试人员:新老架构的所有功能追齐+回归+新架构pv事件AB ,新架构的除pv以外的埋点CD,服务端EF,G备份

提测进度:0127 Android端如期提测,iOS端提测内容较少(且UI无任何修改),无法验证。目前iOS提测包内容:默认页改造除了历史记录还有点问题,未提测

iOS提测时间晚1.5PD,QA为赶进度,抽出一部分时间加班支援测试;

bugfix期间,由于iOS 在0225未对齐部分功能、UI,0311版本解决了绝大数遗留的问题,功能已对齐,遗留3个小bug;iOS未保证100%埋点正确,切流风险高;

0311版本iOS端新架构UI同学提交64个bug,剩余34个,经UED同学确认--iOS端新架构放量要考虑UI还原度,注重用户体验

BUG数目

iOS端:66个;Android端:43个;后端:28个;共计137个

新架构iOS端UI设计走查记录(不包含0311默认页需求)

测试包:3月7号17点 bugfix包(构建号11110324)

1)UI问题共64个(含新增问题1个),已修复验证30个

2)下列卡片未看到效果:顶部weex卡片(春节类、赛事类)、运营banner、热点

3)UI问题汇总地址:

iOS端标注地址:

新架构Android端UI设计走查记录(不包含0311默认页需求)

​测试包:7号10点 bugfix包(构建号11107283)

​1)UI问题共22个,已修复验证21个,暂缓调整1个

​2)下列卡片未看到效果:顶部weex卡片(春节类)、热点

0225~0311版本bug统计:

共374个bug

iOS端 136 个,Android端 127 个

目回顾搜索组件化-新架构

测试人员:与0225需求测试时间并行。经协商,新架构功能由QA AB跟进测试,CD优先支持0225测试

由于iOS新架构提测时间较晚,问题较多,iOS一灰时新架构需求代码未上线,在bugfix期间测试新架构,二灰时候上线,放量<1000

计划0311优化0225新架构UI等问题、iOS端补齐老架构所有埋点以及0311新需求,0311以后,老架构需求不在维护,线上接口统一走yksearch

项目回顾0325

测试人员:0325新老架构的所有功能追齐+回归+新需求埋点测试 AB ,新架构埋点对齐CD ,服务端EF ,G 备份

iOS端 0311版本遗留的UI bug较多,在iOS提测第一天已周知UI同学验收~

iOS端新架构从0225版本至今,埋点需求一直未对齐,遗留问题较多

项目问题

  1. 测试范围:iOS端新老架构-kubox最近搜索埋点、预约功能以及埋点、0311版本遗留UI以及功能性BUG验收;
  2. 截止03月21日20:30,0325版本BUG数目共 151 个,iOS端BUG 95 个,Android端BUG 22 个,后端BUG 34 个
  3. iOS端0325二灰包测试到凌晨4点的原因:RD修复埋点问题+白天发现的直播小bug,到凌晨以后重新打包,测试时QA发现新包引入了一个新崩溃(点击排行榜有直播类型的关键词,崩溃),原因:修复直播bug引入了新的bug。。凌晨1点多,开发修改代码自测时,发现筛选卡片切换tab曝光的不是新页面埋点还是上个tab埋点,对代码进行修改后,重新打包。凌晨2点多,开发打完新包,开发发现摩天轮的配置依赖不对,导致去吐槽时有时无的问题。凌晨3点,重新打包,QA测试~
  4. 思考:QA尽早暴露埋点问题,摩天轮配置问题,要提醒开发确认是否配置正确;加强开发自测意识

截止03月21日20:30,0325版本BUG数目共 151 个,iOS端BUG 95 个,Android端BUG 22 个,后端BUG 34 个

项目回顾0408

客户端-iOS,提测时间delay 1PD

直播有些数据没有准备好,无法联调

客户端需要调整推荐语解析逻辑,下午才能提测

客户端-Android,提测时间delay 0.5PD

直播有些数据没有准备好,无法联调

截止04月03日20:00,0408版本BUG数目共 73 个,iOS端BUG 27 个,Android端BUG 24 个,后端BUG 11 个,weex以及其他业务线BUG 11 个

项目回顾0408

0422版本iOS端仍需要测试新老架构功能,Android需测试新架构,老架构不再更新需求

昨晚,二灰集成包测试,iOS端,修改线上老架构自频道UI原有问题,导致新架构自频道UI出现问题。且,0422版本老架构默认页50%流量为新架构默认页,但搜索结果请求老架构接口,导致此设计的默认页新增bug2个,在集成过程及时发现。昨晚测试到凌晨1:00,完成回归

项目回顾0507

iOS二级页埋点未提测,Android提测了

iOS节目卡片曝光埋点和海报图点击埋点trackinfo增加beginTime字段,晚点提测

iOS reopen率较高,BUG较多

双端+后端共计 57 个BUG(iOS端33个,Android端9个,后端15个),BUG地址

项目回顾0520

iOS青少年模式提测时间为0516晚20:30

Android青少年模式RD接口传参每个都传了designate_mode =1,designateMode = 1方便服务端用哪个取哪个。iOS按照需求传参

iOS提测质量较差,reopen数目为7个

iOS端UI问题在一灰至bugfix期间占用2天时间修复。新包修复bug会引起新增bug,请注意开发自测质量

iOS端每次的“马上出包”==1小时~1天,以后的版本请真实评估,实事求是,不要每次都搞到凌晨2点以后再给包

二灰最终包给出时间为5.16日晚20:30,UI的bug一堆,总会因为修复UI的问题引发新的BUG,集成包最终于打包时间为5.17凌晨04:02,由于包大小超标(UI焕新 图片资源替换导致包大小超限/6月份全面瘦身 切换到新架    构 老架构代码下线/6月第一个版本),但等到架构组上班就已经过了集成时间,这次改动的资源太多,删除两个没用的根本不管用,故此耗时较长的修改调整代码,RD最终代码提交时间为凌晨06:58

根本问题:iOS开发人力较安卓少1人,请开发leader适当增加iOS端人力

双端+后端共计 160 个BUG(iOS端77个,Android端42个,后端15个)



项目回顾0603

0603版本BUG数目共 113个 Android 端23个,iOS 46个,服务端22

项目回顾0617

截止06月13日20:25,搜索SDK 0617版本BUG数目共 95个,其中iOS端BUG 45个,Android端BUG 24个,后端BUG 8个,指给PM的BUG 7个,其他业务线BUG 11个

  1. iOS资料页去掉spm_new 和scm_new,同时iOS这个页面去掉cn 其他的双端不一致的埋点问题属于历史遗留(属于0225版本到4月份版本iOS一直未对齐,开发提测进度都较慢较差)
  2. 资料页(如懿传-查看详情)点击任意区域,均无点击埋点,首个版本提测,点击埋点上报多了spm_new scm_new,且与安卓端7个字段不同(多出 缺少key),4个字段的value不同
  3. 0603版本,ogc二级详情页(电视剧-爱情 美国)翻页,展示完筛选项下的资源后,再翻页,展示了全部tab无条件的资源。6月10日,以上问题但未修复好,改完后为筛选-翻页--资源重复了(如 一切都是为了孩子 出现了4-5次)。6月11再次修改后,筛选-翻页,拉到底部最后一页,再到第一页,顶部资源变了,且上方的tab消失
  4. 0603版本,ugc视频二级详情页(这就是街舞-高能Battle看点全get)的翻页时展示为单双数视频,06月11日,修复单双数视频,但翻页数据展示错误,视频数iOS比安卓多了3倍,接口({{y-search}}/search/query?appScene=detail_page&sdkver=105&keyword=%e8%bf%99%e5%b0%b1%e6%98%af%e8%a1%97%e8%88%9e&appCaller=y
  5. -search-sdk&aaid=111&pg=1&userAgent=phone;android&pz=30&utdid=V50oOso8i4UDALupbmNd00a0&userType=vip&searchType=5&bigUgcSelect=scg_2301552

)正常,iOS多出的数据,接口没有。20:00最新的包仍未解决此问题,此BUG QA在群里抛出且提交到aone。开发为什么不修复???

  1. 6月7日,QA把资料页全部埋点测试完毕,6月10日 iOS开发用了1pd修复,bug 6月11日提测包二级页点击埋点全部未上报,翻页 ogc ugc 等bug仍未修复。直到6月11日18:00才给出修复的包,但二级页花絮 新闻 演员 猜你想搜等点击埋点spm的D位均错误。且上午PM提出的kubox仍未完整修复
  2. iOS 除了tab页 其他功能屡次测试不通过,跟没有提测有何区别

综上0617埋点 功能提测质量太差

提测时间:

周二:服务端提测

周四:客户端提测

二灰集成前:测试报告+集成

质量衡量指标:

提测通过率不低于90%,一灰集成前提测版本不超过3个,一灰集成到二灰提测次数不高于2次

双端bug数各自不高于24个(以往近5个历史版本,Android端平均bug数),低级别bug比例不高于50%。低级别(严重程度)bug定义:需求里明确定义好的、冒烟用例里已有的、UI的、点击埋点的

bug reopen率不高于3%

需求:

需求评审提前一周,若需求过多,则需要砍需求

设计评审提前一周

首次提测必须包括全部需求埋点

你准备好以往的质量数据

提测不通过,bugreopen等

你把问题分下类,各类的数据理下

对开发和产品的要求定几点

平台搞了客户端pipeline,包大小、性能、静扫、回归、性能等等都集成进去了。7月份的版本搜索开始试用。

开发质量问题复盘总结-pua性质的标题相关推荐

  1. Atitit. 提升软件开发效率and 开发质量---java 实现dsl 4gl 的本质and 精髓 O725

    Atitit. 提升软件开发效率and 开发质量---java 实现dsl 4gl 的本质and 精髓  O725 1. DSL主要分为三类:外部DSL.内部DSL,以及语言工作台. 1 2. DSL ...

  2. 软件开发质量的双保险 — 2.业务设计验证与业务用例

    设计验证的第一层是检验业务设计的质量.业务设计内容是软件的核心,解决了如何用信息化手段替代原来的手工作业. 业务设计验证重点包括:业务逻辑.管控规则是否正确?数据逻辑.来源.公式是否正确?等.检验的方 ...

  3. 软件开发质量的双保险 — 1.设计验证与软件测试

    提到对软件的质量检查,马上想到的是"软件测试",软件测试的目的主要是检查"开发程序"是否符合"软件设计"的要求,程序中是否有bug等,也就是 ...

  4. CMMI中QA是如何检查过程和产品 保证软件开发质量?

    CMMI中QA是指检查过程和过程产品,通过构建全过程质量管理体系,从而保证软件开发质量. 1.构建了质量检查系统 为了保证软件开发质量,一般来说QA检查单按照检查阶段划分为:需求分析.系统设计.系统实 ...

  5. 如何提高软件开发质量

    在软件开发中质量一直是人们重点关注的,根据权威机构数据统计在整个软件行业中开发失败率极高,大约20%左右的软件是开发成功的,80%左右的软件开发是失败的(这当然包括功能开发完成而最终无法使用或者使用率 ...

  6. HIT软件构造——从一个实际案例考察开发质量目标

    在之前的文章中,简要陈述了一些软件的外部质量因素,但这毕竟只是纸上谈兵的介绍,那么在实际开发中,这些因素是怎么与软件开发过程和产品相互作用的呢?重要的是,用户视角下这些因素究竟对产品表现有何影响呢?下 ...

  7. 软件开发质量的双保险 — 3.应用设计验证与应用用例

    设计验证的第二层是检验应用设计的质量.应用设计的检验是对软件"好用"的保证,它解决了如何用信息化手段提升客户的工作效率. 应用设计验证重点包括:业务设计的结果在系统中的落地是否顺利 ...

  8. 哈啰出行高质量故障复盘法:“3+5+3”(附模板)

    # 一分钟精华速览 # 故障复盘指的是及时把过去发生的错误,最大程度转化为未来可以规避的办法,其核心是不断减少失败因子繁衍的温床,将它们牢牢地掌控在不至于引发危机的范围之中.作为国民基础设施的哈啰出行 ...

  9. 前端开发面试快速复盘,不标准的面试经验分享与杂谈(终章),我拿到满意offer了

    壹 ❀ 引 找工作半个月了,一周面两三家的样子,前前后后大概面了八家左右,先说结论,拿到了三家offer,虽然没有进大厂,但其中一家是自己很想去的公司所以后面不会再面试了,福利待遇(弹性打卡,导师一对 ...

最新文章

  1. C++中基于范围的for循环
  2. 机器学习导论(张志华):核定义
  3. [Python图像处理] 三十八.OpenCV图像增强和图像去雾万字详解(直方图均衡化、局部直方图均衡化、自动色彩均衡化)
  4. oracle虚读,oracle基础 - 若虚夜的个人空间 - OSCHINA - 中文开源技术交流社区
  5. The security settings could not be applied to the database because the connection has failed安装Mysql
  6. 在Java中,如何使一个字符串的首字母变为大写
  7. [react] Consumer向上找不到Provider的时候怎么办?
  8. 短网址缩短和还原综合源码
  9. WinFom中经典小游戏(含源码)
  10. 16QAM学习(二)multisim仿真 乘法器的实现,MC1496实现信号乘法混合
  11. PageHelper获取数据总条数
  12. RNN学习:利用LSTM,GRU层解决航空公司评论数据预测问题
  13. pe下查看ip和计算机名称,利用U盘pe系统查找原来电脑ip
  14. 让iOS Safari浏览器支持油猴脚本
  15. Linux 进程间通信-IPC 机制
  16. 中国爱眼教育大会|2023山东眼健康产业展会|标展5500元
  17. Python有证书吗?python证书是什么级别的呢?怎么才能达到python证书的考试条件呢?
  18. java计算机毕业设计新疆旅游专列订票系统源码+mysql数据库+lw文档+系统+调试部署
  19. 关于short 类型
  20. SpringBoot关于JPA中关于查询findOne和findById

热门文章

  1. C# Fleck Socket
  2. 微信html5开发常见bug,微信公众号H5之微信分享常见错误和问题
  3. SQL Server中的聚集索引与堆
  4. 干掉Google Base? 微软欲推Fremont服务 (转自donews.com)
  5. 五子棋java设计引言_基于JAVA的五子棋游戏系统设计与实现报告.doc
  6. 全球与中国克罗米芬柠檬酸盐市场深度分析及发展趋向分析报告2022-2028年
  7. Win10系统如何显示文件夹中的照片缩略图
  8. 训练3.21(CF 543B Destroying Roads)
  9. Intellij IDEA中修改Maven项目的项目名称
  10. Java Geometry空间几何数据的处理应用