零、前言

在机器学习建模过程中，正则化是控制模型复杂度，对抗过拟合，追求更优预测效果的重要手段。本文从多个角度对 L2 正则化进行讲解，内容涵盖线性回归、岭回归、贝叶斯、主成分分析、奇异值分解、模型自由度、偏置-方差平衡等。

本文提纲为：

1. 介绍线性回归（Linear Regression）和岭回归（Ridge Regression），从岭回归引入 L2 正则化（L2 Regularization）；
2. 在贝叶斯视角下，从最大化似然概率（Likelihood Probability）和后验概率（Posterior Probability）的角度理解最小二乘和 L2 正则化；
3. 从主成分分析（principle component analysis）的角度理解 L2 正则化，阐述 L2 正则化如何对方差小的主成分方向进行惩罚；
4. 从偏置（bias）-方差（variance）平衡和模型自由度的角度理解 L2 正则化如何对抗过拟合。

本文先导知识包括：线性代数（矩阵乘法、向量内积、转置、线性独立、向量正交、线性空间及其基、逆矩阵、矩阵的秩和迹、矩阵特征值和特征向量），概率（期望、方差、协方差、多元正态分布、贝叶斯公式）。

---

一、线性回归、岭回归与 L2 正则化

下文默认向量

对每一个样本计算模型预测的平方误差（squared error），在

mean squared error）。mse 衡量了

把每一个训练样本的转置

将

能够使

least square）。

解此方程得到：

于是模型对训练集的预测就是：

称

trace，对角线元素之和）是：

其中

最小化

式 [1.7] 存在一个问题。假如

这就是岭回归（Ridge Regression）的解公式。岭回归的预测值是：

按照上面对自由度的定义，岭回归的自由度应该是变换矩阵

最小二乘解是使均方误差 mse 最小的解。那么岭回归的解是否最小化了什么东西呢？请看下面的损失函数：

解该式得到：

可看到

L2 正则化项。它其实是

长度）的平方。它度量的是各个系数的绝对值大小。将它作为惩罚项加入损失函数，迫使最优解的各系数接近 0 。

---

二、贝叶斯观点下的最小二乘和 L2 正则

所谓训练，是指观察到一组训练样本和目标值

即

等号右侧分子的第一项是似然概率，第二项是先验概率。第一节提到线性回归问题预设：

其中

对

注意右边的第二项。撇开与

但是我们的终极目标是最大化后验概率。最小二乘解最大化的是似然概率，相当于预设

对

忽略与

---

三、主成分与 L2 正则

本节假设训练集

可以多重）。这些特征值对应的特征向量线性独立且两两正交（此事实本文不证明，可参考 [1]）。令

也就是：

一个对称矩阵（这里是

其非对角线元素为 0 ，即

要谈主成分与 L2 正则的关系，就需要先介绍奇异值分解。若

因为

这就是矩阵

上式第四个等号成立是因为

所以有

最后，

模为 1）：

推导过程中记住

以及

以

与之前的结论一致）。

L2 正则化终于要登场了：

在带 L2 正则化的岭回归问题中，

于是可以看到，相比于最小二乘， 岭回归在预测

乘上小于 1 的系数）。正则系数

它的迹为：

可见，加入 L2 正则化之后模型的自由度小于参数个数

---

四、偏置-方差权衡与 L2 正则化的作用

对于一个新样本点

这导致了

）：

第一步根据平方的期望等于期望的平方加上方差。第二步利用事实：训练集外再观察一次得到的

上节说过 L2 正则压抑小方差主成分方向的影响从而降低预测的方差。这是有代价的。它使模型的预测变得有偏。考察一下最小二乘解和岭回归解在训练样本集

式 [1.8] 和 式 [1.11]）的均值和方差：

由此看出，最小二乘解的预测是无偏的。

预测值第

而岭回归的预测值

估计不再无偏。但是

预测值第

可见 L2 正则化牺牲了偏置，但减小了预测值的方差。

模型自由度即模型复杂性。根据线性模型自由度的定义

---

五、参考数目

线性代数及其应用 (豆瓣)​book.douban.com

统计学习基础(第2版)(英文) (豆瓣)​book.douban.com