【机器学习】泛化误差上界

泛化能力：模型对未知数据的预测能力
泛化误差：模型是f^\hat{f}f^，该模型对于未知数据预测的误差即为泛化误差：
Rexp⁡(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x))P(x,y)dxdy\begin{aligned} R_{\exp }(\hat{f}) &=E_{P}[L(Y, \hat{f}(X))] \\ &=\int_{\mathcal{X} \times \mathcal{Y}} L(y, \hat{f}(x)) P(x, y) \mathrm{d} x \mathrm{~d} y \end{aligned} Rexp(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x))P(x,y)dx dy
实际上：泛化误差等价于期望风险：EP[L(Y,f^(X))]E_{P}[L(Y, \hat{f}(X))]EP[L(Y,f^(X))]

其中：
期望风险R(f)R(f)R(f)与经验风险R^(f)\hat{R}(f)R^(f)的区别：期望风险的对象是未知的，待预测的数据；而经验风险指的是人为设计好的测试数据，数目为N，计算其平均损失误差。
R(f)=E[L(Y,f(X))]R^(f)=1N∑i=1NL(yi,f(xi))\begin{array}{c} R(f)=E[L(Y, f(X))] \\\\ \hat{R}(f)=\frac{1}{N} \sum_{i=1}^{N} L\left(y_{i}, f\left(x_{i}\right)\right) \end{array} R(f)=E[L(Y,f(X))]R^(f)=N1∑i=1NL(yi,f(xi))

泛化误差上界体现在泛化误差其满足以下一个不等式：
R(f)⩽R^(f)+ε(d,N,δ)ε(d,N,δ)=12N(log⁡d+log⁡1δ)\begin{array}{c} R(f) \leqslant \hat{R}(f)+\varepsilon(d, N, \delta) \\\\ \varepsilon(d, N, \delta)=\sqrt{\frac{1}{2 N}\left(\log d+\log \frac{1}{\delta}\right)} \end{array} R(f)⩽R^(f)+ε(d,N,δ)ε(d,N,δ)=2N1(logd+logδ1)
其中ddd表示为函数个数，假设空间是由有限个函数组成的，表示为：F={f1,f2,⋯,fd}\mathcal{F}=\left\{f_{1}, f_{2}, \cdots, f_{d}\right\}F={f1,f2,⋯,fd}
证明过程可以参考Hoeffding不等式。

根据泛化误差上界可以得出几个比较重要的结论：
1、泛化误差=期望风险，泛化误差上限越小，说明期望风险越小，其预期值越加靠近真实值，体现其泛化能力越强。
2、当样本容量N增大时，泛化误差上界趋向于0，泛化能力越好。
3、当假设空间容量（模型的复杂性）越大，模型越难学，ddd越大，泛化误差上界越大，泛化能力越差。

参考：李航统计学习方法第二版

【机器学习】泛化误差上界相关推荐

机器学习（1）泛化误差上界的实现及分析
本文在假设空间有限情况下的泛化误差上界分析,并给出了简要的C语言实现.参考文献是李航老师写的<统计学习方法>. 简单引出泛化误差是什么.对于任意给定的数据,选定模型对数据监 ...
李航统计学习方法笔记——泛化误差上界
泛化误差上界 References 统计学习方法(第2版)李航著 p25~27 定理对于二分类问题,当假设空间是有限个函数的集合F={f1,f2,...,fd}F=\{f_1,f_2,...,f_d ...
【统计学习笔记】泛化误差上界
[统计学习笔记]泛化误差上界 1. 泛化误差 2. 泛化误差上界 1. 泛化误差学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力,是学习方法本质上重要的性质.测试误差是依赖于测试数据集 ...
模型泛化能力(泛化误差+泛化误差上界)| 15mins 入门 | 《统计学习方法》学习笔记（六）
泛化能力一. 泛化误差学习方法的泛化能力(generalization ability):方法学习到的模型对未知数据的预测能力. 评价标准:测试误差. 但因为测试数据集是有限的,很有可能由此得到的 ...
Hoeffding不等式与泛化误差上界
Hoeffding不等式本篇文章不详细证明霍夫丁不等式怎么来的,主要讨论如何由霍夫丁不等式证明不等式: 左端即为泛化误差,右端则为泛化误差上界.泛化误差也可以理解为期望风险,而右式第一个也叫做经验风 ...
泛化误差深入理解计算机系统,泛化误差界指导的鉴别字典学习
摘要: 在提高字典鉴别能力的过程中,最大间隔字典学习忽视了利用重新获得的数据构建分类器的泛化性能,不仅与最大间隔原理有关,还与包含数据的最小包含球(MEB)半径有关.针对这一事实,提出泛化误差界指导的 ...
李航《统计学习方法》第二版第一章-泛化误差
联合概率分布没法直接知道 ,没法求泛化误差,因此只能求泛化误差上界泛化误差越小,泛化能力越好 1.数据量大,泛化误差上界趋于0 2.假设空间容量越大,模型越难学,泛化误差上界越大泛化误差上界=经验 ...
机器学习-泛化能力笔记
1.什么是泛化能力? 在机器学习方法中,泛化能力通俗来讲就是指学习到的模型对未知数据的预测能力.在实际情况中,我们通常通过测试误差来评价学习方法的泛化能力. 2.泛化误差的定义大家马上应该发现,这个 ...
机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述
学习笔记,仅供参考,有错必究文章目录经验风险与泛化误差概述经验风险泛化误差欠拟合和过拟合训练集.验证集.测试集经验风险与泛化误差概述监督学习,尤其是其中一部分传统的分类问题,能够进一步 ...

【机器学习】泛化误差上界

【机器学习】泛化误差上界相关推荐

最新文章

热门文章