tf.nn.l2_loss() 与权重衰减（weight decay）

权重衰减（weight decay）

L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。

L2正则化就是在代价函数后面再加上一个正则化项：

其中 C0C_0C0 代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数 w 的平方的和，除以训练集的样本大小 n。λ就是正则项系数，权衡正则项与 C0C_0C0 项的比重。另外还有一个系数 1/2，1/2 主要是为了后面求导的结果方便。系数 λ 就是权重衰减系数。

在 tensorflow 中， tf.nn.l2_loss() 函数的作用是利用L2范数来计算张量的误差值，并且只取L2范数的值的一半，即 1/2。

函数原型是这样的：官方文档

tf.nn.l2_loss(t,name=None
)

t 是一个张量，一般有两个维度。

这个函数的输出为：output = sum(t ** 2) / 2

相当于计算上面公式中的 12∑ww2\frac{1}{2}\sum_{w}w^221∑ww2

权重衰减（L2正则化）的作用

作用：权重衰减（L2正则化）可以避免模型过拟合问题。
思考：L2正则化项有让 w 变小的效果，但是为什么 w 变小可以防止过拟合呢？
原理：

（1）从模型的复杂度上解释：更小的权值 w，从某种意义上说，表示网络的复杂度更低，对数据的拟合更好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。
（2）从数学方面的解释：过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

Reference:

https://blog.csdn.net/program_developer/article/details/80867468

https://blog.csdn.net/yangfengling1023/article/details/82910536