0. 前言

对训练集进行模型训练的时候，通常会存在两种问题，“过拟合”和“欠拟合”，分别对应高方差（high variance）和高偏差（high bias）。

高方差：拟合程度过好，以至于过拟合，无法泛化新的样本数据
高偏差：拟合程度太差，以至于欠拟合，存在很大的误差

1. 评估模型过程

随机划分训练集和测试集
用训练集进行模型训练，降低 $J_{train}(\theta)$ ，用测试集计算 $J_{test}(\theta)$
或者采用错误分类率 $Test\ error=\frac{1}{m}\sum_{i=1}^{m}err(h_{\theta}(x^{(i)}),y^{(i)})$ ， $err(h_{\theta}(x),y)= \left\{\begin{align*} &1\ if\ h_{\theta}(x)\geq 0.5,y=0\ or\ h_{\theta}(x)< 0.5,y=1\\ &0\ else \end{align*}\right.$

2. 最高次幂对方差偏差的影响

如图所示（图源：吴恩达机器学习），横坐标为最高次幂，纵坐标为错误分类率或者代价函数，一般情况下：

当 $d$ 很小时，曲线无法拟合大部分数据，具有高偏差， $\left\{\begin{align*} &J_{train}(\theta)\ will\ be\ high\\ &J_{test}(\theta)\approx J_{train}(\theta) \end{align*}\right.$
当 $d$ 很大时，曲线拟合训练集过好，造成无法泛化测试集，具有高方差， $\left\{\begin{align*} &J_{train}(\theta)\ will\ be\ low\\ &J_{test}(\theta)\gg J_{train}(\theta) \end{align*}\right.$

3. 正则化参数对方差偏差的影响

如图所示（图源：吴恩达机器学习），横坐标为正则化参数 $\lambda$ ，纵坐标为错误分类率或者代价函数，一般情况下：

当 $\lambda$ 很小时，未减少权重系数的大小，曲线对训练集的拟合程度很好，具有高方差
当 $\lambda$ 很大时，减少权重系数太多，曲线无法很好的拟合数据，具有高偏差

4. 高偏差的学习曲线

如图所示（图源：吴恩达机器学习），横坐标为训练集大小，纵坐标为错误分类率或者代价函数，一般情况下：

随着数据集的增大，训练集的误差会越来越大，测试集的误差会越来越小
当 $m\rightarrow \infty$ 时，训练集和测试集的误差均会趋近于一个较大的常数

5. 高方差的学习曲线

如图所示（图源：吴恩达机器学习），横坐标为训练集大小，纵坐标为错误分类率或者代价函数，一般情况下：

随着数据集的增大，训练集的误差会越来越大，测试集的误差会越来越小
训练集的误差和测试集的误差之间的间隙较大

6. 对机器学习算法的调试

采用更多的训练集 $\rightarrow$ 解决高方差（过拟合）
减少特征数量 $\rightarrow$ 解决高方差（过拟合）
增加特征数量 $\rightarrow$ 解决高偏差（欠拟合）
增加最高次幂 $\rightarrow$ 解决高偏差（欠拟合）
降低正则化系数 $\lambda$ $\rightarrow$ 解决高偏差（欠拟合）
增加正则化系数 $\lambda$ $\rightarrow$ 解决高方差（过拟合）

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

吴恩达机器学习（八）偏差与方差相关推荐

吴恩达机器学习：偏差与方差、欠拟合与过拟合
在吴恩达机器学习课程的第86课时中,讲解了偏差和方差与欠拟合和过拟合的关系. 1.偏差与方差的概念先看下网上关于偏差与方差的例子. 该例子可以理解为射击打靶. 偏差指的是多次射击的平均环数与环心的偏 ...
机器学习(吴恩达)笔记——高偏差高方差
转载自https://blog.csdn.net/The_lastest/article/details/78357727?locationNum=9&fps=1 学习曲线(learning ...
西瓜书+实战+吴恩达机器学习（二）机器学习基础（偏差、方差、调试模型技巧）
文章目录 0. 前言 1. 偏差方差的解决方法 2. 高偏差高方差的学习曲线 3. 调试模型技巧如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言泛化误差可分解为 ...
吴恩达机器学习作业Python实现(五)：偏差和方差
吴恩达机器学习系列作业目录在本练习中,您将实现正则化的线性回归和多项式回归,并使用它来研究具有不同偏差-方差属性的模型 1 Regularized Linear Regression 正则线性回归 ...
吴恩达机器学习课后作业——偏差和方差
1.写在前面吴恩达机器学习的课后作业及数据可以在coursera平台上进行下载,只要注册一下就可以添加课程了.所以这里就不写题目和数据了,有需要的小伙伴自行去下载就可以了. 作业及数据下载网址:吴恩 ...
5. 吴恩达机器学习课程-作业5-偏差和方差
fork了别人的项目,自己重新填写,我的代码如下 https://gitee.com/fakerlove/machine-learning/tree/master/code 代码原链接文章目录 5. ...
【Nan‘s 吴恩达机器学习笔记】第八、九章神经网络
[Nan's 吴恩达机器学习笔记]第八.九章神经网络神经网络(Neural Networks) 8.1 非线性假设 8.2 模型表示前向传播算法(Forward Propagation) 8.3 ...
吴恩达机器学习作业Python实现(八)：异常检测和推荐系统
吴恩达机器学习系列作业目录 1 Anomaly detection 这部分,您将实现一个异常检测算法来检测服务器计算机中的异常行为.他的特征是测量每个服务器的响应速度(mb/s)和延迟(ms).当你的 ...
带你少走弯路：五篇文章学完吴恩达机器学习
本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分,这门课是经典,没有之一.但是有个问题,就是内容较多,有些内容确实有点过时. 如何在最短时间学完这门课程?作为课程的主要翻译者和笔记作者,我推荐 ...

吴恩达机器学习（八）偏差与方差

目录