Software Testing - 如何测试机器学习算法正确性

2024-04-24 01:27:19

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击http://www.captainbed.net

先上结论：保证算法结果的正确性，需要从「算法推导的正确性」、「算法效果的正确性」和「算法应用的正确性」3个维度来考虑。

01.算法推导的正确性

算法推导的正确性，指的是对算法本身的推导和实现进行测试检查，主要可针对自研算法，可做算法的单元测试等。

算法是可供计算机执行的对数据进行处理的一个有穷步骤，是解决问题的一个逻辑顺序，是解题方法的精确描述，它有一些精确定义的操作规则，每条规则是确定的、能行的，不能有二义性。所以，尤其是对于自研算法来说，需要对推导过程的进行检查，以保证其正确。以单元测试阶段为例，主要包含项目规范检查、静态代码检查、代码逻辑覆盖、算法高效性分析、服务异常处理几个测试点。

02.算法效果的正确性

即对不同算法训练出的模型预测效果进行评估，测试其泛化能力。

常用的测试方法有：蜕变测试，即根据公式特点，特定变换数据，进行结果比较，如类别标签乱序、属性乱序、增加无信息属性、一致重复预测等；大数据ETL测试；特征指标分析；模型效果评测，专业指标评测（KS、PSI、精确率、召回率、AUC、F1 Score等）；

比如大数据ETL测试，与传统数据测试过程类似，大数据ETL测试也需要经历分析业务需求-制定测试计划-设计测试试用例并准备测试数据-静态代码CR-执行测试-生成测试报告并分析结果-测试完成这几个过程。

03.算法应用的正确性

即保证上层功能应用的正确性，端到端的测试保证，覆盖代码逻辑、服务性能、安全性、功能场景等。同时，还要保证模型线上的稳定性，如离线与在线的一致性（特征、模型），小样本试验，AB测试，模型效果监控等。

比如在模型测试部分，针对AB测试，AB测试有两种形式，模型B“陪跑”，不进行决策；模型A和模型B按照流量划分，同时进行决策。

Software Testing - 如何测试机器学习算法正确性相关推荐

Software Testing - 如何测试一部电梯
分享一个大牛的人工智能教程.零基础!通俗易懂!风趣幽默!希望你也加入到人工智能的队伍中来!请点击http://www.captainbed.net 简要分析外观(UI):美观程度.光滑程度.形状.材 ...
手机软件测试英语,手机软件测试,mobile phone software testing,音标,读音,翻译,英文例句,英语词典...
补充资料:软件测试软件测试 software testing 配置项测试和系统测试. 加强测试管理对于保证测试可靠性十分重要,应按系统化的流程做好4步工作:①制定测试计划,确定总方针.资源及进度:② ...
软件测试自学英语计划,软件测试计划,software testing plan,音标,读音,翻译,英文例句,英语词典...
补充资料:软件测试软件测试 software testing 配置项测试和系统测试. 加强测试管理对于保证测试可靠性十分重要,应按系统化的流程做好4步工作:①制定测试计划,确定总方针.资源及进度:② ...
5 Things That Will Impact the Future of Software Testing(将要影响软件测试未来的5件事)
目录原链接翻译内容 Summary(摘要): 正文 1. Artificial Intelligence(人工智能) 2. DevOps 3. QA as a Service(QA即服务) 4. ...
探索式软件测试—Exploratory Software Testing
最近找到去年上半年看过一本关于测试方面书籍的总结笔记,一直放在我的个人U盘里,当时是用Xmind记录的,现在重新整理下分享给大家了! James A.Whittaker [美] 詹姆斯·惠特克(软件测 ...
ISTQB认证考试通过秘籍问题一、ISTQB是什么？有哪些分类? ISTQB（International Software Testing Qualification Board）是国际唯一权威的软
问题一.ISTQB是什么?有哪些分类? ISTQB(International Software Testing Qualification Board)是国际唯一权威的软件测试资质认证机构,主要负责 ...
软件测试中软件质量的定义,软件测试（Software Testing）和软件质量的定义
软件测试(Software Testing)和软件质量的定义 1.软件测试(Software Testing)的定义官方释义: a.用来增进判定软件的正确性.完整性.安全性和品质的进程: b.是一种 ...
Software Testing Resource
Software Testing - http://en.wikipedia.org/wiki/Software_testing Software Testing Category - http:/ ...
测试机器学习算法的好坏
一:当我们训练出一个模型,我们不知道这个模型是好还是坏,我们如果应用到真实环境,结果预测的没有可信度,所以在输入样例之前先对模型进行测试.这时,我们就要将我们所有的数据分为两部分,一大部分用来训练,一 ...

最新文章

热门文章