基于test log的自动结果分析

在Test Automation的过程中, 总会面临着自动化脚本没办法完全执行通过的情况,举例的话, 如果有1w+的test scripts, 但是passing rate达到了99%, 那每次执行后, 也会有100左右的case会挂掉, 这个时候只能引入manual checking对未通过的case进行验证.

基于这种需求,提供一个思路. 通过测试log之间的比较, 对结果进行预测, 排除产品之外引发的问题.

首先, 识别common issue.

开始对log进行分析之前, 需要维护一个不敏感词库, 每次比较中,这些不敏感词汇, 不参与比较. 通过文本相似度, 添加权重, 在识别出来的结果中, 给每次对比打分, 当分数相近程度超过阈值, 则视为同类问题.

其次, 通过历史数据对新产生的log进行预测.

每一次回归的历史数据, 都需要进行root cause 分析, 并保留, 当新一轮执行结束, 通过log与之前log的相似度比较, 判断是否是历史问题引发的.

最后, 生成报表.

附: 文本比较主要算法

- *s1, s2: base string and compared string*

- *m: matching characters*

- *t: transposition count*

- *dj: matching score*

python module: jellyfish, pandas

基于test log的自动结果分析相关推荐

006基于近似熵、递归量化分析和卷积神经网络的癫痫发作自动检测-2019
Automatic Detection of Epileptic Seizure Based on Approximate Entropy, Recurrence Quantification Ana ...
基于TCP网络通信的自动升级程序源码分析-客户端接收文件
升级程序客户端接收文件 /// <summary>/// 文件数据缓存索引是 ConnectionInfo对象数据包的顺序号值是数据/// </summary>Dicti ...
《整体决策的统一框架和基于时空的高速路自动驾驶轨迹规划》论文分析
文献分析这篇<整体决策的统一框架和基于时空的高速路自动驾驶轨迹规划>论文,针对过往前任研究的一些不足,建立了决策规划的三个模块,这三个模块针对短期(10hz,一秒运行十次),中期(1hz ...
基于虎书实现LALR(1)分析并生成GLSL编译器前端代码(C#)
基于虎书实现LALR(1)分析并生成GLSL编译器前端代码(C#) 为了完美解析GLSL源码,获取其中的信息(都有哪些in/out/uniform等),我决定做个GLSL编译器的前端(以后简称编译器或 ...
【C4】基于深度学习的心电信号分析
★★★ 本文源自AI Studio社区精品项目,[点击此处]查看更多精品内容 >>> 基于深度学习的心电信号分析一.项目背景近年来,随着人工智能和算法的发展,以机器学习和深度学习 ...
多通路fpga 通信_【论文精选】基于FPGA的EtherCAT从站通信链路分析与验证
原标题:[论文精选]基于FPGA的EtherCAT从站通信链路分析与验证马保全1,2,姚旺君1,2,刘云龙1,2,张晓莉1,2,黄兵1,2,赵德政1,2 (1.工业控制系统信息安全技术国家工程实验 ...
基于大数据的网站日志分析系统
本文没有任何代码,只有各个模块工作的大体机制和整体流程.算是一个科普文吧,我也对原理一知半解. 基于大数据的网站日志分析系统 1. 日志数据格式 1.1 访问日志 1.1.1 log_format 1 ...
基于Filebeat自动收集Kubernetes日志的分析系统
基于Filebeat自动收集Kubernetes日志的分析系统摘要:Docker容器产生的日志分散在不同的相互隔离的容器中, 并且容器具有即用即销的特点, 传统的解决方式是将日志文件挂载到宿主机上, ...
es数据定时清理_一种基于ELK的数据自动清理方法与流程
本发明涉及涉及ELK.Shell.Kafka.Freemarker等技术领域,尤其涉及一种基于ELK的数据自动清理方法. 背景技术: ElasticSearch是一个基于Lucene的全文搜索服务.它 ...

基于test log的自动结果分析

基于test log的自动结果分析相关推荐

最新文章

热门文章