关于训练误差、测试误差、泛化误差

我们在学习模式识别的时候，总是会遇到一些专业词汇，而其中有的专业词汇叫人傻傻分不清。

今天我就来说说训练误差、测试误差、泛化误差到底是什么，区别所在。

对于分类学习算法，我们一般将样本集分为训练集和测试集，其中训练集用于算法模型的学习或训练，而测试集通常用于评估训练好的模型对于数据的预测性能评估。而这个先后顺序就是先将算法在训练集上训练得到一个模型，然后在测试集上评估性能。

这个时候我们通常要考虑评估的这个性能是否合理。由于测试学习算法是否成功在于算法对于训练中未见过的数据的预测执行能力，因此我们一般将分类模型的误差分为训练误差（Training Error）和泛化误差（Generalization Error）。那么这两个误差到底是什么呢？

训练误差是指模型在训练集上的错分样本比率，说白了就是在训练集上训练完毕后在训练集本身上进行预测得到了错分率

（同样的测试误差就是模型在测试集上的错分率）

泛化误差是指模型在未知记录上的期望误差，说白了就是在训练集上没见过的数据的错分样本比率。

因此在样本集划分时，如果得到的训练集与测试集的数据没有交集，此时测试误差基本等同于泛化误差。

因此以上就是三者的意义所在和区别所在！！

关于训练误差、测试误差、泛化误差相关推荐

训练误差和泛化误差分别是什么，如何区分？
在我们学习机器学习或深度学习的时候,经常会遇见一些迷惑词汇,让人傻傻分不清,比如博主刚开始学习的时候,就没有太过于区分,导致一些地方弄混. 今天就让我带着大家一起区分一下训练误差和泛化误差吧~有什 ...
机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述
学习笔记,仅供参考,有错必究文章目录经验风险与泛化误差概述经验风险泛化误差欠拟合和过拟合训练集.验证集.测试集经验风险与泛化误差概述监督学习,尤其是其中一部分传统的分类问题,能够进一步 ...
李航统计学习方法笔记——泛化误差上界
泛化误差上界 References 统计学习方法(第2版)李航著 p25~27 定理对于二分类问题,当假设空间是有限个函数的集合F={f1,f2,...,fd}F=\{f_1,f_2,...,f_d ...
谈谈对泛化误差的理解
https://blog.csdn.net/Cerisier/article/details/78122653 个人对泛化误差的看法泛化误差与交叉验证误差这个词我们经常会遇到,在机器学习中,我们最 ...
机器学习：算法中的泛化误差、偏差、方差、噪声的理解（超详细）
摘要:在现实任务中,我们往往有多种学习算法可供选择,甚至对同一个学习算法,当使用不同的参数配置时,也会产生不同的模型,那么,我们该如何选用哪一个学习算法,使用哪一种参数配置呢?这就是机器学习中的&qu ...
《菜菜的机器学习sklearn课堂》随机森林应用泛化误差调参实例
随机森林随机森林 - 概述集成算法概述 sklearn中的集成算法随机森林分类器 RandomForestClassifier 重要参数控制基评估器的参数 n_estimators:基评估器的 ...
【统计学习笔记】泛化误差上界
[统计学习笔记]泛化误差上界 1. 泛化误差 2. 泛化误差上界 1. 泛化误差学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力,是学习方法本质上重要的性质.测试误差是依赖于测试数据集 ...
模型泛化能力(泛化误差+泛化误差上界)| 15mins 入门 | 《统计学习方法》学习笔记（六）
泛化能力一. 泛化误差学习方法的泛化能力(generalization ability):方法学习到的模型对未知数据的预测能力. 评价标准:测试误差. 但因为测试数据集是有限的,很有可能由此得到的 ...
机器学习中的误差、经验误差、泛化误差
误差:学习器的实际预测输出与样本的真实输出之间的差异称为"误差". 经验误差(训练误差):模型在训练集上的误差称为"经验误差"(empirical error) ...
【机器学习】泛化误差上界
泛化能力:模型对未知数据的预测能力泛化误差:模型是f^\hat{f}f^,该模型对于未知数据预测的误差即为泛化误差: Rexp⁡(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x)) ...

关于训练误差、测试误差、泛化误差

关于训练误差、测试误差、泛化误差相关推荐

最新文章

热门文章