BatchNorm和LayerNorm的区别

BatchNorm：对一个batch-size样本内的每个特征做归一化
LayerNorm：针对每条样本，对每条样本的所有特征做归一化

简单举例：
假设现在有个二维矩阵：行代表batch-size，列表示样本特征

BatchNorm就是对这个二维矩阵中每一列的特征做归一化，也就是竖着做归一化
LayerNorm就是对这个二维矩阵中每一行数据做归一化

相同点：都是在深度学习中让当前层的参数稳定下来，避免梯度消失或者梯度爆炸，方便后面的继续学习

**不同点：

如果你的特征依赖不同样本的统计参数，那BatchNorm更有效，因为它不考虑不同特征之间的大小关系，但是保留不同样本间的大小关系
Nlp领域适合用LayerNorm， CV适合BatchNorm，
对于Nlp来说，它不考虑不同样本间的大小关系，保留样本内不同特征之间的大小关系*

引用： https://zhuanlan.zhihu.com/p/428620330

BatchNorm和LayerNorm的区别相关推荐

BatchNorm、LayerNorm、InstanceNorm、GroupNorm、WeightNorm
今天看Transform时看到了LayerNorm,然后想到之前用过BatchNorm,就想着这两个有啥区别呢,然后找资料,就发现还有其他的归一化处理,就在这里整理一下,方便以后查阅. BatchNo ...
BatchNorm与LayerNorm
BatchNorm批量归一化:批量归一化是对一个中间层的单个神经元进行归一化操作.计算第l层网络中每个神经元在Batch大小为N的样本上输出的N个结果,计算每个神经元输出的N个结果的均值和方差,然后使 ...
【机器学习】LayerNorm BatchNorm的作用以及区别
使用Normalization的目的当我们使用梯度下降法做优化时,随着网络深度的增加,输入数据的特征分布会不断发生变化,为了保证数据特征分布的稳定性,会加入Normalization.从而可以使用更 ...
Batchnorm 和Layernorm 区别
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录一.Batchnorm 二.Layernorm 三.总结一.Batchnorm BatchNorm,一般用于CV任务,是把一个 ...
pytorch中的BatchNorm和LayerNorm
参考文章 https://blog.csdn.net/weixin_39228381/article/details/107896863 https://blog.csdn.net/weixin_39 ...
BatchNorm和LayerNorm
一.BatchNorm 论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariat ...
BatchNorm和LayerNorm的比较
BatchNorm:batch方向做归一化,算NHW的均值,对小batchsize效果不好:BN主要缺点是对batchsize的大小比较敏感,由于每次计算均值和方差是在一个batch上,所以如果bat ...
【AI基础】图解手算BatchNorm、LayerNorm和GroupNorm
这几天整理对比了一下网络中几个常用的Norm的方法,之前也看过,网上有很多讲的非常详细的资料,以前看一下理解了就过了,时间长了就模糊了,此次自己亲手算了一遍,加深了印象,特此整理一下,以便之后的回 ...
深度学习基础之BatchNorm和LayerNorm
文章目录 BatchNorm LayerNorm 总结参考 BatchNorm Batch Normalization(下文简称 Batch Norm)是 2015 年提出的方法.Batch Nor ...

BatchNorm和LayerNorm的区别

BatchNorm和LayerNorm的区别相关推荐

最新文章

热门文章