不同Normalization之间的比较

Normalization

1. Batch Normalization
2. Instance Normalization
3. Layer Normalization
4. Group Normalization

不同Normalization之间的具体区别和优缺点我也不是很清楚，这里只是展示他们的具体运行机制

1. Batch Normalization

加速收敛，归一化为标准正态分布，能够解决梯度消失的问题
图像分类任务一般用Batch Normalization，不用Instance Normalization？
Batch Normalization有一个很大的缺点，需要比较大的Batch Size，比如32，但是有些任务很大的Batch显存吃不下，对于较小的Batch表现又较差，所以需要下面的归一化方法

Batch Normalization示例

2. Instance Normalization

作者提到输出图像不依赖内容之间的对比，所以可以用实例归一化

3. Layer Normalization

4. Group Normalization

Group Normalization与Layer Normalization唯一不同的在于，Group Normalization不是计算特征图的所有通道，而是取部分通道进行计算，也适用于Batch较小的情况，paper中提到计算的通道数大约为32

不同Normalization之间的比较相关推荐

Normalization
文章内容摘自 https://zhuanlan.zhihu.com/p/43200897b 一.激活还是权重的Norm 1. 激活norm:BatchNorm.LayerNorm.InstanceNo ...
深度学习中的Normalization模型——张俊林阅读笔记
原文链接:https://mp.weixin.qq.com/s?__biz=Mzg2MTA0NzA0Mw==&mid=2247489324&idx=1&sn=6d76ba15f ...
深度学习中眼花缭乱的Normalization学习总结
点击下方标题,迅速定位到你感兴趣的内容前言相关知识 Batch Normalization(BN) Layer Normalization(LN) Weight Normalization(WN) ...
活体检测综述 Deep Learning for Face Anti-Spoofing: A Survey 阅读记录
论文链接:Deep Learning for Face Anti-Spoofing: A Survey | IEEE Journals & Magazine | IEEE Xplore 代码链 ...
Batch Renormalization
Batch normalization 统计学上有一个问题叫Internal Covariate Shift,我也不知道该怎么翻译,暂且叫它ICS吧.说的是这样一个事情,即在偏统计的机器学习中,有这样 ...
CVPR2019论文题目中文列表
英文题目中文题目 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal 少镜头学习中用类别遍历法寻 ...
论文阅读Patient-specific reconstruction of volumetric computed tomography images from a single projectio
Patient-specific reconstruction of volumetric computed tomography images from a single projection vi ...
将bgr彩色矩阵归一化到0-255之间【RGB image normalization】
参考下面文章,可以使用normalize 函数. https://blog.csdn.net/kuweicai/article/details/78988886 对于彩色rgb图像,也可以直接使用以上 ...
batch normalization
20210702 深度学习中的五种归一化(BN.LN.IN.GN和SN)方法简介 https://blog.csdn.net/u013289254/article/details/99690730 h ...