PRML第三章3.2
偏置-方差分解
前面讨论的情况是假定了基函数的数量和形式，如果使用有限的数据集训练模型，使用最大似然或者最小平方，将会导致过拟合问题。但是通过限制基函数的数量避免过拟合，则会限制模型描述数据中的规律。如何选择合适的λ的值通过正则化来避免过拟合。
由第一章，我们知道–一旦确定了条件概率分布p(t|x)，每一种的损失函数都能给出对应的最优预测结果。通常使用平方损失函数，此时的最优的预测由条件期望h(x)给出：
现在的问题是如何区分决策论中的平方损失函数及模型参数的最大似然估计中出现的平方和误差函数。
通过1.5.5的证明，平方损失函数的期望：
第二项的出现是根据数据的噪声造成，表示出期望损失能够达到的最小值。而第一项对函数y(x)选择有关，需要找到一个y(x)的解，使第一项最小。
假设我们使用由参数向量w控制的函数y(x,w)对y(x)建模：1.贝叶斯观点，模型的不确定性通过w的后验分布表示。频率派根据数据D对w进行点估计，然后试着通过以下方法表示估计的不确定性：
假设存在许多数据集，每个数据集大小为N，每个数据集都独立地从分布p(t,x)中抽取。对任意给定的数据集D,运用算法，得到预测函数y(x;D).不同数据集会给出不同的函数，从而给出不同的平方损失的值。
考虑上式第一项的被积函数，对于一个特定的数据集D，形式为
由于这个量与特定的数据集D相关，对所有的数据集取平方。通过在括号内加上再减去ED[y(x;D)]，然后展开：
关于D求期望：
第一项：平方偏置，表示所有数据集的平均预测与预期的回归函数之间的差异；第二项，方差，度量了对于单独数据集，模型给出的解在平均值附近波动的情况，与表明了函数y(x;D)对于特定数据集的选择的敏感程度。
现在把展开式带回平方误差函数的期望公式中，得到对期望平方损失的分解：
我们的目标是最小化期望损失，它可以分解成偏置、方差和一个常数噪声项。对于灵活的模型，偏置小，方差大；对于固定的模型，偏置大，方差小。有着最优预测能力的模型能在偏置和方差之间取得最优的平衡。
产生100个数据集合，每个集合包含N=25个数据点，都独立从正弦曲线h(x)=sin(2πx)抽取。数据集编号l=1,2,….L，L=100。通过最小正则化误差函数拟合一个带有24个高斯基函数的模型，然后给出预测函数y(l)(x),如下图。
第一行对应着较大的正则化系数λ，这是方差很小，偏置大。相反的是，最后一行，正则化系数小，方差大，偏置小。如果把M=25这种模型的多个解进行平均，会产生对回归函数非常好的拟合。贝叶斯的核心就是将多各解加权平均—这是针对参数的后验分布。
平均预测的得出：
其中有概率分布p(x)加权的x的积分由来自哪个概率分布的有限数据点的加和近似。下图给出变量以及他们求和关于lnλ的图像。
偏置-方差分解依赖对所有数据集求平均，而实际应用中只有一个观测集。如果拥有大量的已知规模的独立的训练数据集—将他们组合成一个大的训练集，这回降低给定复杂度的模型额过拟合程度。
PRML第三章3.2相关推荐
- PRML第七章稀疏核机 （RVM）
PRML第七章 稀疏核机 总结 很长一段时间没有做自我总结,也没有意识去写博客了.今天想来谈谈SVM与RVM(两种稀疏核方法).(最近正在自学,然后遇到各种问题,也懂了一些问题,所以想要总结一下 ...
- ESL第三章 回归的线性方法 系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
(ESL把线性回归讲的非常丰富,真的开阔视野) 目录 3.2 线性回归模型的最小二乘法 3.2.2 高斯-马尔可夫定理 3.2.3 从简单单变量回归到多重回归 3.2.4 多输出 3.3 子集选择 3 ...
- 王道考研 计算机网络笔记 第三章：数据链路层
本文基于2019 王道考研 计算机网络: 2019 王道考研 计算机网络 个人笔记总结 第一章:王道考研 计算机网络笔记 第一章:概述&计算机网络体系结构 第二章:王道考研 计算机网络笔记 第 ...
- 概率论与数理统计--第三章
文章目录 概率论与数理统计--第三章 概率论与数理统计–第三章
- 《Linux内核设计与实现》读书笔记 第三章 进程管理
第三章进程管理 进程是Unix操作系统抽象概念中最基本的一种.我们拥有操作系统就是为了运行用户程序,因此,进程管理就是所有操作系统的心脏所在. 3.1进程 概念: 进程:处于执行期的程序.但不仅局限于 ...
- 计算机组原理ppt,计算机组原理第三章.ppt
计算机组原理第三章 计算机组成原理 毛典辉 北京工商大学计算机与信息工程学院 Email: amaode@ 进一步结论: 当最高有效位产生进位而符号位无进位时,产生上溢: 当最高有效位无进位而符号位有 ...
- 计算机应用基础第三章操作步骤,最新江西三校生计算机应用基础模拟操作题集锦（超实用！）...
第二章 Windows XP 操作系统 ? [2011高考] 将计算机系统时间修改为2011年9月1日10:30.请写出操作步骤. 答:双击系统托盘中时间图标(或双击"控制面板"窗 ...
- c语言如何持续输入字符直到指定字符结束_《小白学C》第三章 常用输入输出函数...
第三章 常用输入/输出函数 与其他高级语言一样, C语言的语句是用来向计算机系统发出操作指令的. 当我们提到输入时,这意味着要向程序填充一些数据.输入可以是以文件的形式或从命令行中进行.C 语言提供了 ...
- 第三章--数据链路层
第三章--数据链路层 本章目录: 3.1使用点对点信道的数据链路层 3.1.1数据链路和帧 3.1.2三个基本问题 3.2点对点协议PPP 3.2.1PPP协议的特点 3.2.2PPP协议的帧格式 3 ...
- 第三章 用检验控件执行表单的验证
第三章 用检验控件执行表单的检验 主要内容: l 使用客户端检验 l 必填域控件:RequiredFieldValidator l 检验表达式控件:RegularExpressionValidator ...
最新文章
- 史玉柱：10个企业管理智慧，成功的企业都这么做
- SAP MM 同一个序列号可以被多次用在交货单发货过账？
- java.library.path hadoop_java - Hadoop“无法为您的平台加载native-hadoop库”警告
- python使用方法-在Python中使用next()方法操作文件的教程
- vux 组件打造手机端项目
- 《研磨设计模式》chap20 享元模式 Flyweight (1)前奏介绍
- zcmu 4935(排序)
- SpringBoot+Mybatis 框架之 @SelectProvider注解方式搭建
- 创建一个国家的下拉菜单(magento2)
- vscode使用svn插件
- 中国各省级行政区对应MODIS区块号
- 计算机网络安全员好就业吗,网络安全就业前景怎么样？
- 微博媒体碎片装订版-Arrange01
- 微信公众号H5开发，实现网页授权（静默登录）
- Revit建模：使用技巧【族类应用】希望能帮大家提高效率
- 视觉显著性 matlab,转载图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention）...
- 小学计算机软件介绍ppt,小学信息技术优秀课件
- HTML 基础知识简介
- python生成热图_用Python生成热图
- WZOI-352整数提取