基于缺陷驱动的测试过程有效性评价方法研究

1、引言

开发过程的质量决定了软件的质量，软件测试过程的质量同样决定了软件测试的质量和有效性。^[1]软件测试在软件质量的保证环节起着至关重要的作用^[2]，在文献[3]中定义了软件评价过程模型，这是国际上共同遵守的软件评测过程标准。但是在软件测试过程中，测试用例的设计、测试执行过程中的人员都对测试结果有很大的影响。如何约束这些可变因素，量化测试过程的有效性，辅助改善测试过程、使测试过程变得更为有效^[4]，是目前软件测试过程中有待解决的问题。针对上述问题，本文提出了一种基于缺陷驱动的测试过程有效性的评价方法，该方法通过统计系统上线后一定周期内（建议统计时间高于3个月，小于12个月）客户反馈的系统缺陷数结合测试过程中发现的缺陷数进行测试执行过程和测试用例设计过程的评价，从而达到对测试过程有效性评价的目的。

2、软件测试过程及相关评价方法

2.1 软件测试过程

软件测试是一个为了找出错误而执行程序/系统的过程。它强调软件测试是一个找错的过程，而不仅仅证明系统是可以运行的过程。^[5]软件测试过程包括了计划、执行、检查、改进，其主要具备了可重复性、可再现性、公正性和客观性等特性。^[6]

2.2 缺陷探测率

2.3 六西格玛质量评价方法

σ（西格玛）是希腊文的字母，在统计学中称为标准差，用来表示数据的分散程度。六西格玛是由GE从一种全面质量管理方法演变成为一个高度有效的企业流程设计、改善和优化的技术，并提供了一系列同等地适用于设计、生产和服务的新产品开发工具。在软件质量评价方面，六西格玛方法也得到了广泛的应用。六西格玛改进的标准流程（DMAIC）分为定义、测量、分析、改进和控制五个阶段。其中西格玛水平与软件质量评价如下表^[8]：

表1 西格玛水平业绩

西格玛水平	百万次机缺陷
6	3.4
5	233
4	6210
3	66807
2	308537
1	690000

由于任何检验、验证手段都不可能发现并排除所有缺陷 ^[9]，因此测试过程的有效性达应用六西格玛的99.997%，那么测试过程就是可信的、有效的。

3、基于缺陷驱动的软件测试过程有效性效性评价方法

3.1 测试执行过程缺陷遗漏率

测试执行过程的好坏主要有测试计划、测试执行过程和测试记录等阶段决定。在测试执行过程中，完全的测试是不可能的，测试需要终止。因此在测试过程中，能够发现全部的缺陷是不可能的，必然会有一部分遗漏。从而将一些问题暴露给用户，从而影响用户的满意度、易用性。但是在测试过程中评价一个测试过程的有效性是很困难的，但是通过一段时间的系统上线应用，统计用户反馈缺陷数目，进而比较容易评价测试过程的有效性，就如同2.2节中缺陷探测率的方法。但是缺陷探测率的评价方法仅仅只是通过缺陷数目来决定测试过程的好与坏，这仅仅停留在测试结果的评价阶段，却没有覆盖的整个测试过程。因此在缺陷探测率的基础之上，本文提出一个测试执行过程缺陷遗漏率（Test-Process Lose Defect Percentage，缩写PLDP）的概念。同时在这之上加入了缺陷严重程度的约束条件。其中缺陷严重程度大体分为如下^[10]：

严重程度1（致命的）：软件产品在正常运行环境下无法继续为用户提供服务，并无其他工作方式满足同样功能，或者软件产品失效后造成人身伤害或者危机人身安全。

严重程度2（严重的）：极大的影响软件产品提供给用户的服务，或者严重影响系统要求或基本功能的使用。

严重程度3（一般的）：软件产品功能需要增强或者存在缺陷，但是存在对应的补救方法解决。

严重程度4（轻微的）：细小的问题，不需要补救方法或者功能增强，或者操作不方便，容易导致用户误操作。

3.2 测试用例丢失率

测试用例的设计处于测试过程中的上游阶段，是测试执行的基础。测试用例的设计过程覆盖了测试计划、测试规格说明书等测试过程阶段。但是如何评价测试用例设计的优劣目前还无很好的办法。因此针对上述问题，本文提出测试用例丢失率（Test-Case LosePercentage，缩写TCLP）来评价测试用例的优劣程度。定义如下：

TCLP=*100%

其中，是有客户方发现并反馈给技术支持人员的错误并且被测试用例覆盖的测试用例数。是软件测试过程中设计的测试用例数。测试用例丢失率是用来评价测试过程中，测试用例设计及其之前阶段的评价方法。客户发现的问题测试用例并未覆盖到，是测试计划、测试规格说明书和测试用例设计阶段问题。TCLP越小，测试过程中的测试用例设计及其之前的阶段的有效性越高。

3.3测试过程有效性评价方法

测试过程失效率是由测试执行过程缺陷遗漏率和测试用例丢失率二者进行综合考量的。测试过程失效率（Ineffectivity of Testing Process Percentage，缩写ITPP）定义如下：

ITPP =（PLDP+TCLP）/2

测试过程有效性（Effective of Testing Process,缩写ETP）评价方法是通过测试过程失效率进行评价，测试过程失效率越小，测试过程的有效性越高。

ETP = 1-ITPP

对于一个测试项目的测试过程中，测试过程的有效性主要是通过系统上线运行后一定周期内客户发现缺陷数量为统计基础的。由于测试过程也是受各种因素影响，测试有效性达到100%是一个理想值，显示测试过程无法满足。因此本文引入六四格玛理论，当测试有效性达到99.997%时，就认定为测试过程是一个高质量的检测、检验过程；达到四西格玛93%以上99.997%以下，说明测试过程有待改进，但整体测试过程能够基本保证被测软件质量；达到二西格玛68%以上93%以下，说明测试过程不可信，测试结果无参考价值，测试过程必须改进。具体评价结果如下表所示：

表2 测试过程有效性评价结论对比表

测试过程有效性	结论
大于等于99.997%	测试过程是一个高质量的检测、检验过程
大于等于93%，小于99.997%	有待改进的测试过程
大于等于68%，小于93%	必须改进的测试过程
小于68%	必须重构的测试过程和质量保证体系

4、结论

软件测试过程的有效性决定了测试结果的可信度，保证了软件产品的质量。本文通过分析软件测试过程，将其分成测试用例及其前期阶段和测试执行及其后期阶段，以被测产品上线运行一定时间内客户发现的缺陷和测试过程中发现缺陷为基本出发点，应用测试执行过程缺陷遗漏率和测试用例丢失率对软件过程有效性进行了评价，通过通过引入六西格玛质量评价方法对软件测试过程有效性进行了初步的划分。但是目前该方法仅仅只在部分软件系统中进行了初步的时间，例如对系统上线运行多长时间统计缺陷数等关键参数还需进一步分析研究。

参考文献:

[1]柳纯录,黄子河,陈绿萍.软件评测师教程[M].北京:清华大学出版社2010:8-9.

[2]王宇.过程决定质量[N].中国计算机报.2003-8-18(B16).

[3] GB/T 18905(ISO 14598.5).评价者用的过程(Porcess for Evaluator)[S].2002

[4]王谦.基于评价软件测试的有效性问题研究[J].计算机光盘软件与应用.2012(4):182-183

[5]Genford J.Myers.The Artof Software Testing[M]. Wiley.2004:5-23.

[6] William E Lewis.软件测试与持续质量改进[M].陈少英,张河涛,译.北京:人民邮电出版社,2008:1-18.

[7] 缺陷探测率DDP[BE/OL].http://baike.baidu.com/view/3602917.htm

[8]Peter Pande, Larry Holpp. What is 6 Sigma[M]. McGraw-Hill.2003:11-21.

[9]王青,伍书剑,李树明.软件缺陷预测技术[J].软件学报.2008.7(7):1565-1580

[10]郑文强,马均飞.软件测试管理[M].电子工业出版社.2010:1-87.

基于缺陷驱动的测试过程有效性评价方法研究相关推荐

基于缺陷的测试过程有效性评价方法研究
开发过程的质量决定了软件的质量,软件测试过程的质量同样决定了软件测试的质量和有效性.软件测试在软件质量的保证环节起着至关重要的作用,在文献中定义了软件评价过程模型,这是国际上共同遵守的软件评测过程标准 ...
对《基于机器学习的区域滑坡危险性评价方法综述》阅读的总结
对<基于机器学习的区域滑坡危险性评价方法综述>阅读的总结 1.摘要这篇综述主要系统阐述了:作者通过阅读文献,总结了基于机器学习技术解决滑坡危险性评价方法:可以分为 1.评价因子选择 ...
基于运动特征的视频质量评价方法（基于H.264）
Michal Ries等人在论文<Motion Based Reference-Free Quality Estimation for H.264/AVC Video Streaming> ...
书法特征提取matlab,基于深度学习的软笔书法临摹评价方法与流程
本发明属于计算机视觉技术领域,涉及手写汉字行书字体的评价,尤其是一种基于深度学习的软笔书法临摹评价方法. 背景技术: 书法是我国具有几千年历史的传统艺术,是我们中华民族的特色文化代表之一,它不仅记录着 ...
matlab 程序收缩,基于MATLAB的小波收缩去噪方法研究(程序)
基于MATLAB的小波收缩去噪方法研究(程序)(课题申报表,任务书,开题报告,中期检查表,外文翻译,论文15400字,程序,答辩PPT) 摘要信号在采集.传输和获取的过程中难免会受到各种噪声的干扰 ...
基于深度神经网络的高光谱影响分类方法研究---MNF+自动编码器+Softmax （准确率比较低，17年的论文）
论文地址基于深度神经网络的高光谱影响分类方法研究装备学院学报遥感影像分类的问题:预处理复杂,高维特征提取困难,分类不够精确等缺陷首先采用最大噪声分数来降低特征空间维度,然后将自动编码器与sof ...
基于迁移学习的农作物病虫害检测方法研究与应用
基于迁移学习的农作物病虫害检测方法研究与应用 1.研究思路迁移学习方式并结合深度学习提出了一种基于残差网络(ResNet 50)的 CDCNNv2 算法.通过对 10类作物 3 万多幅病虫害图像进行 ...
基于集成学习的小麦赤霉病高光谱图像识别方法研究
基于集成学习的小麦赤霉病高光谱图像识别方法研究 1.研究思路 [1]深度学习方法,通过构建深度神经网络模型对小麦赤霉病进行识别.构建四个不同结构的深度神经网络模型,并对这四个模型进行结构分析. [2] ...
综述：基于影像基因组学的肺癌诊断治疗方法研究
介绍: 肺癌是世界上发病率和死亡率最高的恶性肿瘤之一,据美国癌症协会和癌症统计中心统计,每年超过15万个病人死于肺癌,20万个新诊病例.肺癌的致病因素有很多种,其发病率和死亡率都是最高的,是癌症中的第 ...

基于缺陷驱动的测试过程有效性评价方法研究

基于缺陷驱动的测试过程有效性评价方法研究相关推荐

最新文章

热门文章