Raki的PRML阅读笔记第1章：Introduction

第一章主要在讲一些数学基础：概率论，决策论，信息论

validation set

评估当前参数的表现，用于挑选超参数

如果数据量很⼤，那么模型选择很简单。使⽤⼀部分可得到的数据，可以训练出⼀系列的模型，也可以得到某个给定模型的⼀系列复杂度的参数值。之后在独⽴数据上（有时被称为验证集）⽐较它们，选择预测表现最好的模型即可。如果模型的设计使⽤有限规模的数据集迭代很多次，那么对于验证数据会发⽣⼀定程度的过拟合，因此保留⼀个第三⽅的测试集是很有必要的。这个测试集⽤来最终评估选择的模型的表现

但是在许多实际应⽤中，训练数据和测试数据都是很有限的。为了建⽴好的模型，我们想使⽤尽可能多的可得到的数据进⾏训练。然⽽，如果验证机很⼩，它对预测表现的估计就会有⼀定的噪声。解决这种困境的⼀种⽅法是使⽤交叉验证（cross validation），如图1.18所⽰。这种⽅法能够让可得到数据的S−1
S ⽤于训练，同时使⽤所有的数据来评估表现。当数据相当稀疏的时候，考虑S = N的情况很合适，其中N是数据点的总数。这种技术叫做“留⼀法”（leave-one-out）

最大后验估计：

p(w)p(w)p(w)是先验分布，代表在没有观测数据的情况下，www 的概率

p(D∣w)p(D|w)p(D∣w)是似然函数，代表用参数 www 来估计 DDD 的分布

p(w∣D)p(w|D)p(w∣D) 是后验分布

在贝叶斯的视角，代表允许我们在观察到D之后以后验概率的形式评估w的不确定性

在频率派的视角，参数 θ\thetaθ 是数据集 DDD 的一个固定的参数，而贝叶斯派则认为，只有一个单一的数据集D（即实际观察到的数据集），而参数的不确定性是通过w的概率分布来表达的。

贝叶斯的观点的一个优势是自然的引入了先验分布，具有任何合理先验的贝叶斯方法将导致一个不那么极端的结论

高斯分布

多项高斯分布

最大似然估计

高斯分布的似然估计：

无偏估计量：无偏估计的数学证明和分析

决策论

如果后验概率小于某个阈值，将会拒绝做出识别

生成模型：明确或隐含地对输入和输出的分布进行建模的方法被称为生成模型，因为通过对它们进行采样，有可能在输入空间生成合成数据点

判别模型：直接对后验概率进行建模的方法被称为判别模型

判别函数：直接把输入映射到标签，此时概率不起作用

后验概率有很多优势让我们选择它：

信息论

熵用来衡量一个分布的不确定性程度

⽆噪声编码定理 （noiseless coding theorem）（Shannon, 1948）表明，熵是传输⼀个随机变量状态值所需的⽐特位的下界

最⼤化微分熵的分布是⾼斯分布

**KL散度：**考虑某个未知的分布p(x)，假定我们已经使⽤⼀个近似的分布q(x)对它进⾏了建模。如果我们使⽤q(x)来建⽴⼀个编码体系，⽤来把x的值传给接收者，那么，由于我们使⽤了q(x)⽽不是真实分布p(x)，因此在具体化x的值（假定我们选择了⼀个⾼效的编码系统）时，我们需要⼀些附加的信息。我们需要的平均的附加信息量（单位是nat）为

注意KL散度不是对称的，KL散度可以用来衡量两个分布的差异（减去一项就是交叉熵）

Jensen不等式，对于凸函数：