批标准化（batch normalization）与层标准化（layer normalization）比较

批标准化（batch normalization，BN）与层标准化（layer normalization，LN）应该都是为了解决网络训练过程中的协变量漂移问题。

BN与LN的归一化方法都是先减均值，再除以标准差。只不过针对的对象不同。

BN：取不同样本的同一个通道的特征做归一化，逐特征维度归一化；

LN：取的是同一个样本的不同通道做归一化，逐个样本归一化。

BN在大batchsize的情况下效果好，缺点是：1）batchsize小的情况下效果不好；2）不适用于序列模型，如RNN，LSTM等，尤其当序列样本的长度不同时。

所以，当batchsize较小，RNN,LSTM情况下，使用LN好些。其他情况，应该是使用BN好一些。

参考：https://zhuanlan.zhihu.com/p/54530247

https://blog.csdn.net/sinat_34072381/article/details/106173365

https://blog.csdn.net/leviopku/article/details/83182194

https://blog.csdn.net/sinat_34072381/article/details/106173365?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-0&spm=1001.2101.3001.4242

批标准化（batch normalization）与层标准化（layer normalization）比较相关推荐

优化方法总结 Batch Normalization、Layer Normalization、Instance Normalization 及 Group Normalization
目录从 Mini-Batch SGD 说起 Normalization 到底是在做什么 Batch Normalization 如何做 3.1 前向神经网络中的 BN 3.2 CNN 网络中的 BN ...
NLP经典论文：Layer Normalization 笔记
NLP经典论文:Layer Normalization 笔记论文介绍模型结构 batch normalization 和 layer normalization 的相同点 batch norma ...
基于Conditional Layer Normalization的条件文本生成
作者丨苏剑林单位丨追一科技研究方向丨NLP,神经网络个人主页丨kexue.fm 从文章从语言模型到Seq2Seq:Transformer如戏,全靠Mask中我们可以知道,只要配合适当的 Atte ...
什么是批标准化 (Batch Normalization)
为什么要数据标准化 (1)具有统一规格的数据, 能让机器学习更容易学习到数据之中的规律. (2)也是优化神经网络的一种方法什么是批标准化 (Batch Normalization) Batch No ...
Normalization 批标准化(batch normalization)理解
数学是达成目的的工具, 理解才是达成目的桥梁, 所以这篇文章用浅显易懂的动画阐述了复杂的机器学习概念. 强烈推荐通过动画的形式了解. 所以首先放视频链接: Youtube 或者优酷. 代码实现请来这 ...
批归一化(Batch Normalization)详解
批归一化(Batch Normalization)详解文章目录批归一化(Batch Normalization)详解前言一.数据归一化二.BN解决的问题:Internal Covariate ...
7种Normalization总结（batch normalization，layer normalization，Weight Normalization，Cosine Normalization）
文章目录七种normalization 1. Normalization 动机原理优点缺点 2. Batch Normalization 动机原理优点缺点 3. Layer Normal ...
pytorch 层标准化 LayerNorm 的用法
目录 1.为什么要标准化(理解的直接跳过到这部分) 2.LayerNorm 解释 3.举例-只对最后 1 个维度进行标准化 4.举例-对最后 D 个维度进行标准化 1.为什么要标准化(理解的直接跳过到 ...
归一化（Normalization）、标准化（Standardization）和中心/零均值化（Zero-centered）
目录一.概念 1.归一化(Normalization): 2.标准化(Standardization): 3.中心化/零均值化(zero-centered): 二.联系和差异: 三.标准化和归一化的 ...

批标准化（batch normalization）与层标准化（layer normalization）比较

批标准化（batch normalization）与层标准化（layer normalization）比较相关推荐

最新文章

热门文章