机器学习(吴恩达)笔记—

转载自https://blog.csdn.net/The_lastest/article/details/78357727?locationNum=9&fps=1

学习曲线（learning curve）是将训练集误差和交叉验证集误差作为训练集实例数量（m）的函数绘制的图表
一个能有效帮助我们分析训练模型是否出现问题的工具。

1、高偏差的学习曲线

从这个曲线我们可以看到：

当m很小的时候，Jtrain(θ)也很小，因为很容易就能拟合（甚至过拟合），但用这个训练好的模型在验证集上来验证，就会出现很差的效果Jcv(θ)异常的大；随着m的增大，Jtrain(θ)开始增大，Jcv(θ)开始减小；当m越来越大的时候，Jcv(θ)也越来越小，也就是说明模型的泛化程度越来越好；但随着m的增大，Jtrain(θ)也迅速增大，然后超过了最优值，虽然Jcv(θ)也在一直减少，但是始终不会达到最优状态且离最优值很远，故而出现高偏差。所以，如果一个模型如果出现了高偏差的话，增加训练集的数量就没有作用了。

2、高方差的学习曲线

当m较小时，同上面一样；随着m的增大，Jcv(θ)也逐渐变小，也就是说明模型的泛化程度越来越好；当m越来越大时，Jtrain(θ)的虽然持续在增长，但是几乎出现了停滞，很靠近最优的情况；且随着m的增长模型的泛化能力一直在增强，但同样增长得比较缓慢，故而出现了高方差。所以，如果一个模型如果出现了高方差的话，增加训练集的数量仍可以提高模型的性能。

3、总结

在高偏差/欠拟合的情况下，增加数据到训练集不一定能有帮助

在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果

机器学习(吴恩达)笔记——高偏差高方差相关推荐

机器学习-吴恩达-笔记-7-机器学习系统的设计
目录误差分析类偏斜的误差度量查准率和查全率之间的权衡机器学习的数据 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 误差分析在本次课程中,我们将会讲到误差分析( Error ...
机器学习-吴恩达-笔记-14-应用实例：图片文字识别
目录问题描述和流程图滑动窗口获取大量数据和人工数据上限分析:哪部分管道得接下去做 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 问题描述和流程图图像文字识别应用,是从一张给 ...
机器学习-吴恩达-笔记-6-应用机器学习的建议
目录评估一个假设(假设函数) 模型选择和交叉验证集诊断偏差和方差正则化和偏差/方差学习曲线决定下一步做什么 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 当我们运用训练好了 ...
机器学习-吴恩达-笔记-15-总结
[此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 机器学习是一门对科技.工业产生深远影响的重要学科. 机器学习的理论知识:微积分.线性代数.统计学.信息论等. 机器学习的实践框架:PyT ...
机器学习-吴恩达-笔记-13-大规模机器学习
目录大型数据集的学习批量梯度下降随机梯度下降小批量梯度下降随机梯度下降收敛在线学习映射化简和数据并行 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 大型数据集的学习如 ...
机器学习-吴恩达-笔记-12-推荐系统
目录问题形式化基于内容的推荐系统协同过滤向量化:低秩矩阵分解推行工作上的细节:均值归一化基于相似内容推荐和基于相似用户推荐(个人扩展) [此为本人学习吴恩达的机器学习课程的笔记记录,有错误 ...
机器学习-吴恩达-笔记-11-异常检测
目录问题的动机高斯分布算法开发和评价一个异常检测系统异常检测与监督学习对比选择特征多元高斯分布使用多元高斯分布进行异常检测 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出! ...
机器学习-吴恩达-笔记-10-降维
目录动机一:数据压缩动机二:数据可视化主成分分析问题主成分分析算法主成分分析的数量(选择k值) 重建的压缩表示(从低维还原回高维) 主成分分析法的应用建议 [此为本人学习吴恩达的机器学习课程 ...
机器学习-吴恩达-笔记-9-聚类
目录无监督学习:简介 K-均值算法(K-Means) 优化目标随机初始化选择聚类数相似度/距离计算方法聚类的衡量指标 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 无监督学 ...
机器学习-吴恩达-笔记-8-支持向量机
目录优化目标大边界的直观理解大边界分类背后的数学核函数-1 核函数-2 使用支持向量机 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 优化目标为了描述支持向量机,我们将会从 ...

机器学习(吴恩达)笔记——高偏差高方差

机器学习(吴恩达)笔记——高偏差高方差相关推荐

最新文章

热门文章