PAC理论、训练误差和测试误差、模型复杂度

PAC理论 https://baike.baidu.com/item/PAC%E7%90%86%E8%AE%BA/1096070?fr=aladdin
训练误差和测试（泛化）误差的区别及其与模型复杂度的关系 https://blog.csdn.net/qq_45832958/article/details/107518718

1.泛化能力：
机器学习的目标是使学得的模型能够很好的适用于新的样本，而不是仅仅在训练样本上工作的很好。学得的模型对新样本（即新鲜数据）的适应能力称为泛化能力。
2.误差：学习到的模型在样本上的预测结果与样本的真实结果之间的差。
训练误差：模型在训练集上的误差。
泛化误差（测试误差）：在新样本上的误差。
显然，我们更希望得到泛化误差小的模型。
3.欠拟合与过拟合
欠拟合：学得的模型训练误差很大的现象。
过拟合：学得的模型的训练误差很小，但泛化误差大（泛化能力较弱）的现象。

经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证 https://blog.csdn.net/zhihua_oba/article/details/78684257?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

泛化误差可分解为偏差、方差与噪声之和，即generalization error=bias2+variance+noise。
“噪声”：描述了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。
假定期望噪声为零，则泛化误差可分解为偏差、方差之和，即generalization error=bias2+variance。
“偏差”：描述了模型的期望预测（模型的预测结果的期望）与真实结果的偏离程度。偏离程度越大，说明模型的拟合能力越差，此时造成欠拟合。
“方差”：描述了数据的扰动造成的模型性能的变化，即模型在不同数据集上的稳定程度。方差越大，说明模型的稳定程度越差。如果模型在训练集上拟合效果比较优秀，但是在测试集上拟合效果比较差劣，则方差较大，说明模型的稳定程度较差，出现这种现象可能是由于模型对训练集过拟合造成的。
简单的总结一下：偏差大，说明模型欠拟合；方差大，说明模型过拟合

1、横轴为训练样本数量，纵轴为误差：
首先，我们来看如何通过学习曲线识别是否发生了欠拟合/过拟合，如下图2。模型欠拟合时，在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大；模型过拟合时，在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大。模型正常时，在训练集以及测试集上，同时具有相对较低的偏差以及方差。

图一情况下，两个误差都大。 = 》欠拟合
图二情况下，训练误差小，泛化误差大， =》过拟合
图三情况下，两个误差都小。 = 》正常

??? 为何蓝色曲线是上升的？

横坐标是样本量，样本量 = 样本类别数量 * 每个类别的平均样本量

然后，我们想办法解决欠拟合/过拟合。根据上图2，我们发现：当模型欠拟合的时候，我们发现增大训练集，偏差无法降低，无法解决欠拟合问题；当模型过拟合的时候，我们发现增大训练集，方差减小，可以解决过拟合问题。

这说明，发生过拟合时，模型复杂度高且训练数据量不足。

2、横轴为模型复杂程度，纵轴为误差：
横轴表示模型的复杂程度，增加模型的复杂程度的方法，比如增加特征项、添加多项式等等。
首先，我们来看如何通过学习曲线识别是否发生了欠拟合/过拟合，如下图3。模型在点A处，在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大，模型欠拟合；模型在点C处，在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大，模型过拟合。模型复杂程度控制在点B处为最优。

然后，我们想办法解决欠拟合/过拟合。根据上图3，我们发现：当模型欠拟合时，可以增加模型的复杂程度；当模型过拟合时，可以减小模型的复杂程度。
3、横轴为正则项系数，纵轴为误差：
一般情况下，为了限制模型造成过拟合，可以添加正则项（惩罚项）。
首先，我们来看如何通过学习曲线识别是否发生了欠拟合/过拟合，如下图4。模型在点A处，在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大，模型过拟合；模型在点C处，在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大，模型欠拟合。模型正则项系数控制在点B处为最优。

然后，我们想办法解决欠拟合/过拟合。根据上图4，我们发现：当模型过拟合时，可以增大模型正则项系数；模型欠拟合时，可以减小模型正则项系数。

这个正则项系数是啥

PAC理论、训练误差和测试误差、模型复杂度相关推荐

模型评估与模型选择(训练误差和测试误差+过拟合)| 15mins 入门 | 《统计学习方法》学习笔记（四）
模型评估与模型选择当损失函数给定时,基于损失函数的模型的训练误差(training error)和模型的测试误差(test error)就自然成为学习方法评估的标准. 训练误差的大小,对判定给定的问 ...
SSE，MSE均方误差计算公式（训练误差，测试误差）
请看下图当中的两个例子:分别求训练误差以及测试误差决策树
积神经网络的参数优化方法——调整网络结构是关键！！！你只需不停增加层，直到测试误差不再减少....
积神经网络(CNN)的参数优化方法 from:http://blog.csdn.net/u010900574/article/details/51992156 著名: 本文是从 Michael Nie ...
对于机器学习中数据拟合度和模型复杂度的一些建议
Advice for Applying Machine Learning 我这里想做的是,确保大家在设计机器学习系统时,能够明白怎样选择一条最合适.最正确的路径.因此,接下来我们要讨论一些实用的建议和 ...
ESL第七章模型评估及选择【期望】测试误差、模型偏差估计偏差、【平均】乐观、AIC、参数有效数、BIC、最小描述长度、VC/结构风险最小化、一标准误差准则/广义交叉验证、【留一】自助/.632估计
目录 7.2 偏差.方差和模型复杂度 7.3 偏差-方差分解 7.3.1 例子:方差-偏差权衡 7.4 训练误差率的"乐观optimism" 7.5 样本内预测误差的估计.Cp和A ...
欠拟合、过拟合、训练误差与泛化误差与模型复杂度的关系
文章目录相关定义欠拟合和过拟合欠拟合原因欠拟合解决方案过拟合原因过拟合解决方案相关定义训练误差: 模型在训练数据集上表现出的误差. 泛化误差: 模型在任意⼀个测试数据样本上表现出的误差 ...
可视化深度学习模型的训练误差和验证误差
可视化深度学习模型的训练误差和验证误差 #导入基础包和库 # Load libraries import numpy as np from keras.datasets import imdb fro ...
训练误差与泛化误差的说明
1. 训练误差与泛化误差的定义在机器学习中,评价一个模型"优劣"的最直观的数据就是模型的误差,其中误差又分为以下两种误差: - 训练误差(training error):模型在训 ...
VGG16、VGG19网络架构及模型训练 tricks ：训练技巧、测试技巧
在上一篇文章的基础之上,总结一下论文中提出的训练技巧和测试技巧.上一篇文章参考:VGG论文笔记--VGGNet网络架构演变[VGG16,VGG19] 一.训练技巧技巧1:Scale jitterin ...

PAC理论、训练误差和测试误差、模型复杂度

PAC理论、训练误差和测试误差、模型复杂度相关推荐

最新文章

热门文章