字节跳动精准测试实践,SmartEye背后的设计逻辑
简介
在移动互联网高度发展下,移动APP趋近于大型化,功能也趋近于复杂化,诸如各种国民级应用,功能/玩法等迭代不停,其背后对应的研发协作团队也非常庞大。在此种场景下,依靠人力堆叠去保障产品质量,并非最优解,在软件规模达到某个临界点之后,问题逃逸将无法避免。
字节跳动在代码覆盖率监测平台基础上,建立了SmartEye-智能化精准中台,帮助研发团队快速定位代码变更影响域,精准推荐测试用例/自动化巡检任务,为业务减负,为研发团队提效。
背景
在日常的研发活动中,我们经常会遇到下列场景:
这次需要研发自测保障了, 我的用例集是不是全都有效覆盖了?
这次技术重构改动挺大的,会影响哪些已有功能?
基础工具SDK有重大升级,我是涉及到的业务方,哪些功能需要测试验证?
版本要上线了,大家都走一下全量回归Case,测试重点在哪里?回归测试用例集全量执行是不是必要的?
在项目研发团队中的每个同学质量标准是不是都统一了?
上述问题在产品快速迭代下会越来越突出,每一个软件工程师应该都经历过上述问题的“拷问”。在此背景下,精准测试也应运而生。精准测试是国内软件工业界首创的技术概念。近年来,随着国内工业界深入探索,精准测试已经有较为广泛的影响力和统一的认知。
精准测试是质量工程智能化建设的重要趋势,为项目研发验收全流程建立公信力度量指标,解决用例与代码的双向关联,精准匹配和投放测试资源(人力/机架),削弱/打破项目规模增长与质量保障资源增长的强正相关关系。
工作流程
上述是字节跳动研发团队比较常见的研发流程,在这里我们把研发需求划分为5个阶段:开发、自测、测试、集成回归、上线。精准测试发生的区间主要在自测、功能验收测试和回归测试阶段。在这三个阶段的节点1、2、3,业务通过请求SmartEye服务,可以分别获取到自测推荐用例,功能测试推荐用例,回归测试推荐用例。其中,自测用例和功能测试推荐用例用于验证代码变动是否引起存量功能异常,将功能缺陷发现时机前置,为研发团队争取更多的修复时间。回归测试用例推荐用来精简回归测试人力,帮助业务节省回归测试人效。
用例知识库
我们前期先建设了基础代码覆盖率监测平台,收集程序运行时的动态代码覆盖率数据,以此为基础来构建用例知识库。
用例录制
客户端手工用例
人工用例录制,利用内嵌到客户端的SDK,提供UI界面供用户进行录制操作,同时由SDK内部保障录制过程中数据清理,采集,上报。用例录制结束后由SDK对当次录制数据进行上报,服务端实时解析,落盘用例知识库,供后续数据分析推荐,并及时给予用户录制反馈。
客户端自动化用例
自动化用例录制全流程无人工干预,录制时需要以单个用例为分割,记录单条用例的代码覆盖率数据和用例的关联关系。SmartEye结合客户端高级调试模式SDK,使用公司基础长链接服务控制自动机架的指定设备进行用例数据的录制/停止,全流程自动化,可以以很小的成本,批量录制客户端自动化用例。
用例结构化信息
用例索引
利用当前变动信息、调用链信息、覆盖率信息等基础能力,建设代码-用例的映射数据集,以索引形式存储海量用例,为测试用例推荐等上层服务产品提供数据基础。基于用例的关联方法、关联代码块、上下游调用链路以及对应覆盖率等信息,建设不同粒度不同版本的调用信息-CaseIDs倒排索引服务,直接支撑推荐引擎的用例召回功能;此外,服务适配用例录制接口,实现了用例录制->用例信息解析->用例信息入库->索引生成的全流程自动化处理,并支持双端、人工&&自动化用例的多维度用例独立存储。
推荐引擎
代码影响域分析
准确定位MR的代码变动信息及其代码调用上下游影响域,能够帮助后续精准测试准确分析与之关联的测试用例,提升测试充分性与问题拦截率。
我们利用公司CodeGraph平台的双端静态代码调用链分析能力与整体调用链路拓扑数据,完成基于MR的变动DIFF分析以及上下游调用链分析,并针对变动DIFF部分,完成代码变动率的统计。
关联用例召回与多样性平衡
基于改动影响的边界范围,召回对应方法、代码块、调用链路关联的用例集合,聚合去重后生成用例召回集合;
用例召回集合中,存在大量冗余用例。为实现向线上高频调用模块的测试倾斜,增加多样性控制逻辑。
基于对应方法&&代码块的关联用例数、用例覆盖率以及线上热度归一化指标,生成对应方法&&代码块的多样性控制因子,并最终将该因子作用在用例排序与推荐集生成阶段;
推荐集生成
模型层
在用例排序阶段基于用例与变动影响域内各方法&&代码块的关联信息、用例后验指标、用例多样性控制因子等多维度信息,通过机器学习用例排序模型,计算用例与本次改动的相关性得分;基于相关性得分进行用例排序,并结合业务方指定的推荐用例数量,完成用例的筛选,生成用例筛选集。
策略层
针对底层代码关联大量测试用例、用例路径多样性不足等导致的测试冗余问题,通过向业务侧赋能,结合业务方的先验知识体系,利用用例定向投放、底层代码规避等策略,以更加贴近业务的策略形式,在保证测试质量的同时,进一步降低测试冗余,提升测试效率。
整体方案
使用效果
目前,我们与火山客户端等研发团队一起,搭建了字节跳动精准测试平台Cover,致力于为公司内所有产品线研发团队提供标准的精准测试解决方案,期望在保证质量的前提下为业务提效。
该平台已在火山、抖音、西瓜等团队客户端迭代流程中落地,并取得了不错的效果。其中一个典型业务线利用精准测试,在保证100%拦截全量测试用例可发现问题的基础上,提升人效约40%,具体数据如下:
总结
目前,SmartEye精准引擎每日推荐用例数1K+,效率提升约40%。借助SmartEye的能力,业务可以精确评估变更影响,清晰代码变动之后需要测试/回归的用例集。
基于SmartEye的精准测试,在字节跳动的落地得到了很多团队的支持,包括火山、抖音、头条、基础架构等多个研发团队,业务落地当前正在持续推进中。后续重点,我们将延伸SmartEye的精准能力,覆盖各种类型的测试用例与测试需求,在更大范围内成为DevOps基础服务,为更多的研发团队提效。
我们相信,越来越多的智能化测试工具落地,将会加速质量工程领域的变革,推动国内质量工程技术水平走到全球质量工程工业界前沿。
加入我们
字节跳动 Quality Lab,是致力于面向互联网行业的软件工程理论研究与技术预研的创新团队,我们的使命是成为全球顶尖的智能工具团队。我们致力于将前沿的 AI 技术应用到质量与工程效能领域,面向行业提供智能化测试工具,例如SmartEye、 Fastbot、ByQI等测试服务。在成为全球顶尖的智能工具团队道路上,希冀为质量领域带来更多智能化手段。
在这里,你可以用机器视觉与强学,创造具有超强能力的测试机器人,并在数以千计的设备上验证你的算法;还可以实践各种教科书上的测试理论,去帮助业务提升效率,组合测试、AIOps等都等着你来探索;更可以与国内外顶尖机构进行交流合作,与世界各地的学者一起探索更多软件工程领域的可能性。欢迎各位有识之士加入我们。简历投递邮箱:tech@bytedance.com ;邮件标题:姓名 - 工作年限 - Quality Lab - 精准。
字节跳动精准测试实践,SmartEye背后的设计逻辑相关推荐
- Flutter 沙龙回顾 | 跨平台技术趋势及字节跳动 Flutter 架构实践
11 月 23 日,字节跳动技术沙龙 | Flutter 技术专场 在北京后山艺术空间圆满结束.我们邀请到字节跳动移动平台部 Flutter 架构师袁辉辉,Google Flutter 团队工程师 J ...
- 字节跳动混沌工程实践之场景化主动实验
背景 从 2010 年 Netflix 上线 Chaos Mokey 的第一个版本到现在,虽然混沌工程发展已历时十年,但其实只在少数大厂里面有较成熟的落地,对绝大部分研发同学来说,混沌工程还是一个比较 ...
- 字节跳动正测试元宇宙社交APP“派岛”
1月27日消息,据Tech星球消息,字节跳动正在测试一款元宇宙社交APP,名为"派岛".这是字节跳动推出的首款元宇宙社交产品. 此前,互联网大厂中,百度已经上线元宇宙社交产品&qu ...
- 今日头条 字节跳动 Flutter架构实践
今日头条 字节跳动 Flutter架构实践 1 移动跨平台技术探究 ◆ 为什么需要跨平台? 今日头条 字节跳动 Flutter架构实践 ◆ 跨平台技术是如何发展起来的? 今日头条 字节跳动 Flutt ...
- 大规模混合部署项目在字节跳动的落地实践
想知道更多?扫描下面的二维码关注我 后台回复"加群"获取公众号专属群聊入口 >>> 字节跳动社招内推入口 <<< 点个在看少个 bug ????
- 字节跳动端智能工程链路 Pitaya 的架构设计
Client AI 是字节跳动产研架构下属的端智能团队,负责端智能 AI 框架和平台的建设,也负责模型和算法的研发,为字节跳动开拓端上智能新场景.本文介绍的 Pitaya 是由字节跳动的 Client ...
- 九月刚入职字节跳动的测试开发面试题,附答案
朋友入职已经两周了,整体工作环境还是非常满意的!所以这次特意抽空给我写出了这份面试题,而我把它分享给小伙伴们,面试&入职的经验! 大概是在7月中的时候他告诉我投递了简历,9月的时候经过了3轮面 ...
- 软件测试30K*16(总包50W+)入职offer,一位字节跳动女测试开发的自述
小编热衷于收集整理资源,记录踩坑到爬坑的过程.希望能把自己所学,实际工作中使用的技术.学习方法.心得及踩过的一些坑,记录下来.也希望想做软件测试的你一样,通过我的分享可以少走一些弯路,可以形成一套自己 ...
- 字节跳动 EB 级 HDFS 实践
本文选自"字节跳动基础架构实践"系列文章. "字节跳动基础架构实践"系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容,和大家分享团队在基础 ...
最新文章
- TDD in .NET Core - 简介
- ITK:形态分水岭MorphologicalWatershed分割
- MFC拖拽文件到任意EDIT控件
- Linux内核系统调用处理过程
- LeetCode 69. x 的平方根(二分查找)
- git 如何提取已提交的文件_git取两次提交的文件列表,包含目录信息
- libevent evhttp学习——http服务端
- java透明度_纯度与参考透明度
- could not find or load the Qt platform plugin xcb
- 使用hexo搭建github个人博客网站
- 安装GitExtentions KDiff3已配置为合并工具,kdiff3的路径未配置
- qt 实现MVC Api控制器开发 web api接口-连载【5】-企业级系统开发实战连载系列 -技术栈(vue、element-ui、qt、c++、sqlite)
- BGP双平面实验---bgp的选路
- 基于51单片机的无线测温系统
- STM32H7学习继续(STM32H7系列9) ADC
- yum.repos.d没有这个文件和目录解决方法
- 微信开发 注意 js接口安全域名 invail url domain
- 电路实验——实验三 叠加原理
- ELK应用之Logstash 数据转换
- 苹果6plus无线网那个服务器好6,iPhone6和iPhone6 Plus哪个好?苹果6和iPhone6 Plus区别对比评测详解(图文)...