MLY -- 7.How large do the dev/test sets need to be?

开发集应该足够大，大到可以检测出多个算法之间的不同。例如，分类器A的分类精度是90.0%，分类器B的精度为90.1%，开发集有100个样例，则开发集不能检测出这0.1%的不同（将开发集输入分类器A、B进行分类，A、B的结果都是90个样例的类标签正确，所以不能区分A、B）。就我所见过的机器学习问题来说，100个样例的开发集确实小了点儿。一般，开发集都是1000到10000这么大。当你有了10000个样例时，你就能检测出那0.1的提高啦(注释1)（我觉得0.01也能检测出来）。
对于成熟而重要的应用，例如广告，网页搜索，产品推荐，我见过一些团队为哪怕提高0.01%的精确度而努力工作，因为这对公司的利益有直接的影响。在这种情况下，开发集可以远大于10000，以便检测出更小的提高。
测试集的大小呢？
测试集应该大到在测试你的系统的整体性能时，是可信服的。一个比较流行的方法是取30%的数据作为测试集，这种方法在适量数据(100到10000个样例)时，效果很好。但在大数据时期，有的机器学习问题的样例甚至超过了十亿，此时，开发/训练集占总数据的比例减少了，但数量变多了。其实没有必要具有过大的开发/测试集，只需要能评估你的算法就行了。

[注释1]：理论上，还可以测试算法的变化是否引起统计显著性差异。实际中，多数团队都不做这个测试（除非他们要发表学术性研究论文），我发现统计显著性检验对临时进展（interim progress，即每次改变算法获得的改进）没有什么用

MLY -- 7.How large do the dev/test sets need to be?相关推荐

MLY -- 11.When to change dev/test sets and metrics
当开始做一个新项目时,我会快速选择开发集和测试集,因为这会给团队一个明确的目标. 通常,我会要求我的团队在一周之内提出初始的开发集.测试集和度量,大多时候都不会多于一周.先提出一些不完美的东西使项目能 ...
MLY -- 13.Error analysis:look at dev set examples to evaluate ideas
当你在玩你的猫app时,你发现几个把狗狗分类成猫的例子.但是有些狗狗真的很像猫! 你的团队成员提出结合第三方软件将会使系统在处理狗狗图片上更好.但这将会花费一个月,团队成员对此很是热情.你应该要求他们 ...
1. 训练集、开发集、测试集（Train/Dev/Test sets）
1.在以往的机器学习中如上图所示,以往机器学习中,对训练集.开发集.测试集的划分比例为60/20/20,如此划分通常可以获得较好的效果. 训练集(training set):训练算法. 开发集(de ...
'MLY -- 12.Takeways:Setting up development and test sets'
选择能反映"你未来期望得到并且希望算法在其上能表现得好的数据"的分布的开发集和测试集.这可能和你训练集的分布不同. 尽量使开发集和测试集的分布相同为你的团队选择优化单数值评价度量 ...
Machine Learning Yearning book draft - 读记（前14章）
本篇文章由作者授权转载,转自知乎. 首先,非常感谢Andrew NG对于本书<Machine Learning Yearning>的贡献,本书总共大概50多章,昨天收到了1-12章(1-2 ...
书籍推荐：Machine Learning Yearning
Machine Learning Yearning(机器学习思维)是NG的新书,不过这本书的重点不在于教授ML算法,而在于教你如何使ML算法发挥作用.很多AI课程会给教你制造一个锤子; 这本书教你如何 ...
AI实战圣经《Machine Learning Yearning》第1-52章中英文版pdf分享
<Machine Learning Yearning>是机器学习泰斗Andrew NG花了近2年时间,根据自己多年实践经验整理出来的一本机器学习.深度学习实践经验宝典.本书的重点不在于教授 ...
测试linux下磁盘的读写速率
1) 通过df -h命令查看磁盘情况 Filesystem Size Used Avail Use% Mounted on /dev/sda4 289G ...
开箱即用，Knative 给您极致的容器 Serverless 体验
作者 | 冬岛阿里巴巴技术专家导读:托管 Knative 开箱即用,您不需要为这些常驻实例付出任何成本.结合 SLB 云产品提供 Gateway 的能力以及基于突发性能型实例的保留规格功能,极大 ...

MLY -- 7.How large do the dev/test sets need to be?

MLY -- 7.How large do the dev/test sets need to be?相关推荐

最新文章

热门文章