吴恩达神经网络和深度学习-学习笔记-20-训练/开发/测试集划分
设计开发集(dev set)和测试集(test set)
机器学习中的工作流程是:
- 尝试很多思路,用训练集训练不同的模型。
- 使用开发集来评估不同的思路,选择一个然后不断迭代去改善开发集的性能。
- 得到一个令人满意的成本,再用测试集去评估。
我们需要使得测试集(test set)和开发集(dev set)的数据同分布。
一个Guideline:
简单来说,就是测试集和开发集的数据应该与我最后实际应用的数据一致,而测试集和开发集这二者本身应该同分布。
否则,在开发集上优化好的模型,并不能用于测试集。
这节课的重点在于:设立开发集和评估指标,真的就定义了模型所要瞄准的目标。所以开发集和训练集必须为同分布。
而设立训练集的方式,则会影响你逼近那个目标有多快。
开发集(dev set)和测试集(test set)的大小
在面对少量数据100、1000、10000时,按照上面的分类方式更好。
在面对大量数据如1000000时,下面的划分方式更合理。
对于test set来说:
令测试集足够大,以能够高置信度地评估系统整体性能。
P.S.
对于某些应用,也许不需要对系统性能有置信度很高的评估。在这种情况下我们可能只需要训练集(training set)和开发集(dev set),即不单独分出一个测试集也是可以的(and acknowledge that you don’t have a test set)。
当然吴恩达老师绝对不建议在搭建系统的时候省略测试集(test set),因为有个单独的测试集使我安心。因为你可以用这组不带偏差的数据来测试系统的性能。
如果你的开发集很大,这样你就不会对开发集拟合得太厉害,在这种情况下,只有训练集和开发集也不是完全不合理。
吴恩达神经网络和深度学习-学习笔记-20-训练/开发/测试集划分相关推荐
- 吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络 深度神经网络 符号 前向传播 矩阵维度 m个样本 为什么使用深层表示 搭建深层神经网络块 正向传播和反向传播 前向和反向传播 前向传播 反向传播 参数和超参数 ...
- 吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上 别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
- 吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络 神经网络概述 神经网络表示 计算神经网络的输出 m个样本的向量化 for loop 向量化 向量化实现的解释 激活函数 sigmoid tanh函数 ReLu ...
- 吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果 想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
- 吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习(end-to-end deep learning )
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
- 吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸 介绍 直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
- 吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
- 吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...
- 吴恩达神经网络和深度学习-学习笔记-22-误差分析
单一误差分析 假设我们面对一个猫分类器的准确率不够的原因. 队友看了一下算法分类出错的例子,注意到算法将一些够狗分类为猫. 在这种条件下,我们应不应该做一个项目专门处理狗?比如搜集更多的狗的图片,或者 ...
- 吴恩达神经网络和深度学习-学习笔记-21-何时该改变开发集+测试集或指标
需要我们改变开发集+测试集或指标的情况,是现有的指标或开发测试集并不能帮助我们选择出最好的模型! 如果你的评估指标,无法正确评估好算法的排名,那么就需要花时间定义一个新的评估指标. (加权来排除某一类 ...
最新文章
- graphql_GraphQL的稳步上升
- JavaFX技巧4:总结
- android 之 百度地图
- 几万条数据的excel导入到mysql_【记录】2万多条数据的Excel表格数据导入mysql数据库...
- linux centos7.2 nodeJs全局安装
- mysql5.7安装教程centos_MySQL5.7版CentOS系统简易安装教程
- 【MATLAB深度学习工具箱】学习笔记--字符识别Character Recognition
- win7电脑屏幕亮度怎么调节
- matlab xticklabel 旋转,在Matlab中,如何实现xticklabel的旋转?转
- 全面拆解携程云原生实践,打造智能弹性的云端酒店直连系统
- ERC20 智能合约整数溢出系列漏洞披露
- ThreadLocal介绍和源码解析
- linux 模拟误码率,误码率BER计算原理及仿真输出
- oracle数据库字符集US7ASCII,在java中处理中文问题
- 微信企业号的五个典型案例分享
- html表格线条不显示,cline处理表格不显示线条
- 【小程序】小程序托管平台的功能展望与想法
- 某程序员在网吧敲代码,出类拔萃,网友:为何我被打的却是我
- C语言switch语句的用法详解
- 程序员需知的 59 个网站
热门文章
- 免费python课程排行榜-用python爬取2017年中国最好大学排名
- H5搜索页调起软键盘
- vue(vue-cli+vue-router)+babel+webpack项目搭建入门 (第二步)
- 2017蓝桥杯结果填空:迷宫
- 矩阵连乘 动态规划_利用动态规划解LeetCode第62题:不同路径
- jpg灰度化 python_python开发之HighGUI上位机开发(一)
- unity3d php js,【Unity开发】unity3d中的http通信?post/get
- 【2021牛客暑期多校训练营4】Average (二分答案,区间/子数组最大平均值,)
- 【服务器】Discuz论坛实现微信小程序(修改接口)
- 液晶显示屏的C语言编码,单片机液晶汉字显示c语言程序