BN和L2 NORM的区别

bn是拉平各个feature的差异，而l2 norm是拉平各个样本的差异，本来各个样本的模长千变万化，按照距离的概念，差别是很大的，但是l2 norm后，距离就变得有一个上界了，显然样本间差异变小了。而对于各个feature，本来各个feature的量级都可能不一样，方差也就不一样，bn让方差为1，均值为0（理论上），各个feature的差异就小了， l2 norm并没有改变feature之间的相对大小。 l2 norm是强行把同个维度的特征归一化。batch norm是把不同维度的去均值归一化， l2 norm是自己对自己，所以除以的值不尽相同，batch norm是基于统计全局，所以均值和方差每个样本都是相同值。对于不同layer输出的concat，还是l2 norm比较合适。

转载于:https://www.cnblogs.com/ocean1100/p/8965483.html

BN和L2 NORM的区别相关推荐

L1范数和L2范数的区别
L1范数和L2范数的区别 @(deepLearning) 范数 norm 范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小. ∥x∥p:=(∑i=1n∣xi∣p)1p\left \| x\ri ...
L0 Norm 、L1 Norm 和 L2 Norm 的简单理解
文章目录一.L0 Norm 二.L1 Norm 三.L2 Norm 一.L0 Norm L0 范数对应于向量中非零元素的总数例如,向量(0,0)和(0,2)的L0范数为1,因为只有一个非零元素. ...
正则项的原理、梯度公式、L1正则化和L2正则化的区别、应用场景
先对"L1正则化和L2正则化的区别.应用场景"给出结论,具体见后面的原理解释: L1正则化会产生更稀疏的解,因此基于L1正则化的学习方法相当于嵌入式的特征选择方法. L2正则化计算 ...
深度学习中L2 norm的使用
L2 norm其实是一个比较朴素的应用比较广泛的正则化算法,从过去的传统算法到现在的深度学习,从数据预处理到模型优化,都或多或少的会用到这个思想.其算法的过程也比较简单: 1.求出当前层数据的平方 2 ...
l2正则化python_L1、L2正则化的区别
简单读了一些文章,总结一下L1和L2正则化的区别吧,似乎是非常容易被问到的一个问题. L1,L2正则化机器学习中, 损失函数后面一般会加上一个额外项,常用的是l1-norm和l2-norm,即l1范 ...
【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE）均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。
文章目录 MSE 损失函数 1.是什么? 2.数学表述 3.MSE 梯度消失问题 4.用途 5.L1 vs. L2 for Computer Vision 参考 MSE 损失函数 1.是什么? 均方误 ...
L2范数（L2 Norm）与均方差（MSE）
读的一篇论文中写道: We adopt pixel-wise mean square error (MSE) to regularize the similarity. The reconstruct ...
L1范数与L2范数的区别与联系
L1范数与L2范数的区别与联系一.过拟合与正则化过拟合指的就是在机器学习模型训练过程中把数据学习的太彻底,以至于把噪声数据的特征也学习到了,这样会导致在测试的时候不能够很好地识别数据,即不能正确的 ...
L1正则化与L2正则化的区别
摘要正则化的本质是在Cost Function中添加的p-范数.本文从正则化的本质p-范数入手,解释了L1正则化和L2正则化的区别. 正则化在Cost Function上添加了正则化项,就能降低模 ...

BN和L2 NORM的区别

BN和L2 NORM的区别相关推荐

最新文章

热门文章