'MLY -- 12.Takeways:Setting up development and test sets'

选择能反映“你未来期望得到并且希望算法在其上能表现得好的数据”的分布的开发集和测试集。这可能和你训练集的分布不同。

尽量使开发集和测试集的分布相同

为你的团队选择优化单数值评价度量。如果有多个目标，可以考虑将他们组合成单个公式（例如对多个错误度量（error metrics）取平均），或者定义满意度量和优化度量。

机器学习是个高迭代过程：在发现能使你满意的点子之前，你可能需要尝试很多点子。

拥有开发/测试集和单数值评价度量能帮助你评估算法，从而使迭代更快。

当开始一个全新的应用时，尽量尽快建立开发/测试集和评价度量，尽量少于一周。在成熟的应用上，可以花费时间长点儿。

以前启发式的训练/测试集按70%/30%分割的策略在数据量很大时就不适用了。开发和测试集可以少于30%。

你的开发集应该大到可以检测出算法准确率的有意义的改变，但没有必要太大。你的测试集应该大到对最终的算法的表现有个可信服的评估。

如果你的开发集和度量不再能指引正确的方向，你应快速改变它们：（i）如果过拟合了开发集，应获得更多的开发集数据。（ii）如果实际分布和开发/测试集的分布不同，获得新的开发/测试集。(iii)如果度量不再能测量对你来说重要的东西，改变度量。

'MLY -- 12.Takeways:Setting up development and test sets'相关推荐

MLY -- 5.your development and test sets
让我们回想一下猫图片那个例子:你们公司运行一个手机app,用户往app上上传许多不同物体的图片,而你想从这些图片中让机器自动找到猫图片. 你的团队从不同的网站上获得了包含猫的图片(正样例)和不包含猫的 ...
MLY -- 7.How large do the dev/test sets need to be?
开发集应该足够大,大到可以检测出多个算法之间的不同.例如,分类器A的分类精度是90.0%,分类器B的精度为90.1%,开发集有100个样例,则开发集不能检测出这0.1%的不同(将开发集输入分类器A.B ...
书籍推荐：Machine Learning Yearning
Machine Learning Yearning(机器学习思维)是NG的新书,不过这本书的重点不在于教授ML算法,而在于教你如何使ML算法发挥作用.很多AI课程会给教你制造一个锤子; 这本书教你如何 ...
AI实战圣经《Machine Learning Yearning》第1-52章中英文版pdf分享
<Machine Learning Yearning>是机器学习泰斗Andrew NG花了近2年时间,根据自己多年实践经验整理出来的一本机器学习.深度学习实践经验宝典.本书的重点不在于教授 ...
Machine Learning Yearning book draft - 读记（前14章）
本篇文章由作者授权转载,转自知乎. 首先,非常感谢Andrew NG对于本书<Machine Learning Yearning>的贡献,本书总共大概50多章,昨天收到了1-12章(1-2 ...
吴恩达新书-Machine Learning Yearning 中英文版（全）
介绍一本吴恩达新书,说新也不新,出来也有好大半年了,也许你早就看过,如果没有可以看看. 这是一本面向实战类的书,讲述的是吴恩达自己关于项目类的比较高认识的总结,吴恩达称:这本书的主题是"如何 ...
没有时间进行测试？ —有关在Python中对AWS Lambda进行单元测试的12条建议
AWS Lambda -无服务器- Python - DEVOPS (AWS Lambda - serverless - Python - DEVOPS) Much like software app ...
toad dba suite for oracle 12.1,Toad for Oracle 12.1下载地址
32 位版: http://us-downloads.quest.com/Repository/support.quest.com/Toad for Oracle/12.1/Software/Toad ...
Spring Security（三十六）：12. Spring MVC Test Integration
Spring Security provides comprehensive integration with Spring MVC Test Spring Security提供与Spring MVC ...

'MLY -- 12.Takeways:Setting up development and test sets'

'MLY -- 12.Takeways:Setting up development and test sets'相关推荐

最新文章

热门文章