机器学习系列15：学习曲线

我们在调试一个学习算法时，通常会用学习曲线（Learning Curves）观察机器学习算法是否为欠拟合或过拟合。

随着样本数的不断增大，我们发现在高偏差（欠拟合）时交叉验证集代价函数 J_cv(θ) 和测试集代价函数 J_test (θ) 的图像如下，这个图像也叫做学习曲线（Learning Curves）：

在高偏差时，随着样本数目的增加，测试集的偏差与交叉验证集的偏差几乎相等，测试集的偏差在上升到一定程度后就不会继续上升；根据交叉验证集来看，多项式的泛化程度随着数据集的增加减小到一定程度后就不再减小。这代表着，在高偏差（欠拟合）的情况下，增大数据集并不会优化你的算法。所以，在高偏差的情况下，你不需要把时间浪费在收集大量数据上。

再来看，在高方差的情况：

在高方差下，随着样本数目的增加，交叉验证集的偏差一直与测试集的偏差有很大的差距，测试集的偏差在不断地上升；根据交叉验证集来看，多项式的泛化程度随着数据集的增加而不断地减小。这代表着，在高方差（过拟合）的情况下，增大数据集在一定程度上会优化你的算法。

因此，你了解当前算法处于高偏差或高方差对于你决定是否把大量的时间花费在寻找数据集很有必要，这会为你节省大量的时间，把时间用在刀刃上吧！

回到一开始的问题，在机器学习中，我们训练了一个模型，可能会发现这个模型得到的数据与实际数据偏差太大，也就是这个模型表现的不好。这时，我们需要想一些方法来优化我们的算法。

下面这些方法，就是在遇到高方差或高偏差时，我们所需要做的事情。

得到更多的训练集：适用于高方差。
减小特征的数目：适用于高方差。
尝试去增加特征：适用于高偏差。
增加多项式：适用于高偏差。
增大 λ：适用于高方差。
减小 λ：适用于高偏差。

ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。如果想要一起学习机器学习，可以关注微信公众号「SuperFeng」，期待与你的相遇。

机器学习系列15：学习曲线相关推荐

Weka中数据挖掘与机器学习系列之Exploer界面（七）
不多说,直接上干货! Weka的Explorer(探索者)界面,是Weka的主要图形化用户界面,其全部功能都可通过菜单选择或表单填写进行访问.本博客将详细介绍Weka探索者界面的图形化用户界面.预处理 ...
机器学习系列(10)_决策树与随机森林回归
注:本篇文章接上一篇文章>>机器学习系列(9)_决策树详解01 文章目录一.决策树优缺点二.泰坦尼克号幸存者案例三.随机森林介绍 1.随机森林的分类 2.重要参数 [1]n_esti ...
阿里巴巴机器学习系列课程
亲爱的同学们,福利来临!随着机器学习领域的发展越来越火,阿里云机器学习PAI为广大机器学习爱好的学生提供免费的一站式算法平台,该平台提供上百种算法,并且兼容TensorFlow.Caffe.MXNET ...
机器学习系列(8)_读《Nature》论文，看AlphaGo养成
机器学习系列(8)_读<Nature>论文,看AlphaGo养成标签: 机器学习算法深度学习神经网络蒙特卡罗树搜索 2016-03-16 11:23 17843人阅读评论(8) 收藏 ...
机器学习系列------1. GBDT算法的原理
GBDT算法是一种监督学习算法.监督学习算法需要解决如下两个问题: 1.损失函数尽可能的小,这样使得目标函数能够尽可能的符合样本 2.正则化函数对训练结果进行惩罚,避免过拟合,这样在预测的时候才能够准 ...
机器学习系列(1)_数据分析之Kaggle泰坦尼克之灾
本篇博客通过分析泰坦尼克号事故中乘客的信息,从而得出一些相关关系的判断,并且使用Python可视化的手段更加具体的展现. 注:本篇博客参考资料: 1.kaggle入门–泰坦尼克号之灾(某书) 2.机器 ...
机器学习系列笔记六:主成分分析PCA[下]
机器学习系列笔记六:主成分分析PCA[下] 文章目录机器学习系列笔记六:主成分分析PCA[下] scikit-learn中的PCA 基本使用进阶操作对比实验设置合理的n_components ...
递归神经网络 matlab,机器学习系列：递归神经网络
原标题:机器学习系列:递归神经网络前言 BP 神经网络,训练的时候,给定一组输入和输出,不断的对权值进行训练,使得输出达到稳定.但 BP 神经网络并不是适合所有的场景,并不真正的体现出某些场景的真正 ...
机器学习系列|基于随机森林的生存分析模型-R实战
机器学习系列|基于随机森林的生存分析模型-R实战随机生存森林随机生存森林通过训练大量生存树,以表决的形式,从个体树之中加权选举出最终的预测结果. 构建随机生存森林的一般流程为: Ⅰ. 模型通过&q ...

机器学习系列15：学习曲线

机器学习系列15：学习曲线相关推荐

最新文章

热门文章