吴恩达机器学习系列15：学习曲线
我们在调试一个学习算法时，通常会用学习曲线（Learning Curves）观察机器学习算法是否为欠拟合或过拟合。
随着样本数的不断增大，我们发现在高偏差（欠拟合）时交叉验证集代价函数 J_cv(θ) 和测试集代价函数 J_test (θ) 的图像如下，这个图像也叫做学习曲线（Learning Curves）：
在高偏差时，随着样本数目的增加，测试集的偏差与交叉验证集的偏差几乎相等，测试集的偏差在上升到一定程度后就不会继续上升；根据交叉验证集来看，多项式的泛化程度随着数据集的增加减小到一定程度后就不再减小。这代表着，在高偏差（欠拟合）的情况下，增大数据集并不会优化你的算法。所以，在高偏差的情况下，你不需要把时间浪费在收集大量数据上。
再来看，在高方差的情况：
在高方差下，随着样本数目的增加，交叉验证集的偏差一直与测试集的偏差有很大的差距，测试集的偏差在不断地上升；根据交叉验证集来看，多项式的泛化程度随着数据集的增加而不断地减小。这代表着，在高方差（过拟合）的情况下，增大数据集在一定程度上会优化你的算法。
因此，你了解当前算法处于高偏差或高方差对于你决定是否把大量的时间花费在寻找数据集很有必要，这会为你节省大量的时间，把时间用在刀刃上吧！
回到一开始的问题，在机器学习中，我们训练了一个模型，可能会发现这个模型得到的数据与实际数据偏差太大，也就是这个模型表现的不好。这时，我们需要想一些方法来优化我们的算法。
下面这些方法，就是在遇到高方差或高偏差时，我们所需要做的事情。
得到更多的训练集：适用于高方差。
减小特征的数目：适用于高方差。
尝试去增加特征：适用于高偏差。
增加多项式：适用于高偏差。
增大 λ：适用于高方差。
减小 λ：适用于高偏差。
ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。如果想要一起学习机器学习，可以关注微信公众号「SuperFeng」，期待与你的相遇。
转载于:https://juejin.im/post/5ca5aa8ae51d45374b5e6b4b
吴恩达机器学习系列15：学习曲线相关推荐
- 吴恩达机器学习系列篇p31~p42
文章目录 逻辑回归 矢量 分类 s型函数 决策界限 代价函数 优化 过拟合问题 逻辑回归 吴恩达机器学习系列篇p31~p42 矢量 octave c++ 分类 · 0 1 分类 ### 直线回归 对于 ...
- 吴恩达机器学习系列23：基于内容的推荐算法
如今,推荐算法已经深入到我们生活的各个方面,比如说淘宝根据我们之前的浏览记录给我们推荐想要购买的商品:抖音不停地给我们推荐各种我们感兴趣的视频(虽然我个人不太喜欢抖音,觉得抖音会让我们丧失独立思考的能 ...
- 吴恩达机器学习系列课程笔记——第十一章：机器学习系统的设计(Machine Learning System Design)
11.1 首先要做什么 https://www.bilibili.com/video/BV164411b7dx?p=65 在接下来的视频中,我将谈到机器学习系统的设计.这些视频将谈及在设计复杂的机器学 ...
- 吴恩达机器学习系列课程笔记——第十六章：推荐系统(Recommender Systems)
16.1 问题规划 https://www.bilibili.com/video/BV164411b7dx?p=96 在接下来的视频中,我想讲一下推荐系统.我想讲推荐系统有两个原因: 第一.仅仅因为它 ...
- 吴恩达机器学习系列课程--个人笔记
网址:https://www.bilibili.com/video/av50747658/ (b站找的有中文字幕的视频) 第一周 一.引言 1.1 欢迎 1.2 机器学习是什么 1.3 监督学习 1. ...
- 吴恩达机器学习系列课程笔记——第五章：Octave教程(Octave Tutorial)
提示:这章选学,可以去学python,第六节可以看看. 5.1 基本操作 https://www.bilibili.com/video/BV164411b7dx?p=26 本章学习以种编程语言:Oct ...
- 吴恩达机器学习系列课程作业ex3 matlab实现
目录 Matlab实现: lrCostFunction.m oneVsAll.m predictOneVsAll.m predict.m Matlab实现: lrCostFunction.m func ...
- 吴恩达机器学习系列课程笔记
视频资源获取:https://www.bilibili.com/video/BV164411b7dx?p=1 有监督学习:给算法包含正确答案的数据集,算法的任务就是根据数据集给出更多的正确答案. 回归 ...
- 吴恩达机器学习系列理论加实践(二 、单变量线性回归及matlab实践)
二.单变量线性回归 2.1模型表示 同样以之前的房屋价格预测实例开始: 通过学习算法利用训练集训练模型h,对于新输入的数据size of house就可以输出其预测值price: 如何表达这个模型h: ...
- 吴恩达机器学习作业Python实现(五)：偏差和方差
吴恩达机器学习系列作业目录 在本练习中,您将实现正则化的线性回归和多项式回归,并使用它来研究具有不同偏差-方差属性的模型 1 Regularized Linear Regression 正则线性回归 ...
最新文章
- 论文笔记 | CNN 是怎么学到图片绝对位置信息的
- oracle merge
- 今日学习心得——装饰模式
- 计算机网络基础期中测试题,计算机网络基础期末考试试题
- jsp获取java数组长度_数组 – 如何在java jsp中获取数组列表大小？
- Memstore数据刷写与阻塞机制深入剖析及参数优化
- Understanding ASP.NET Validation Techniques
- 茅台酒是不是勾兑的？
- 图像语义分割 —利用Deeplab v3+训练VOC2012数据集
- AppScan漏洞“已解密的登陆请求”修复解决方案
- 操作系统，语言分类，变量
- Eclipse、STS 常用设置、操作 与 常用快捷键
- webpack5学习与实战-（九）-区分开发和生产环境的配置
- 分区助手服务器,分区助手专业版
- 黑苹果部分usb、摄像头以及dw1560（BCM94352Z）蓝牙无法识别问题的解决方法
- linux.zip文件怎么解压,linux怎么解压zip文件
- 中华人民共和国计算机信息网络,中华人民共和国计算机信息网络 国际联网管理暂行规定...
- Chrome 页面呈现原理与性能优化(内附分享 ppt)
- 亚太区最美面孔杨超越登榜，网友：不喜欢她
- 计算机专业考计量经济学,计量经济学期末考试题库(完整版)及答案()（47页）-原创力文档...