深度学习《各种归一化的区别》
一:各种归一化
- Batch Normalization,其论文:https://arxiv.org/pdf/1502.03167.pdf
- Layer Normalizaiton,其论文:https://arxiv.org/pdf/1607.06450v1.pdf
- Instance Normalization,其论文:https://arxiv.org/pdf/1607.08022.pdf
- Group Normalization,其论文:https://arxiv.org/pdf/1803.08494.pdf
- Switchable Normalization,其论文:https://arxiv.org/pdf/1806.10779.pdf
二:详细介绍
BN、LN、IN和GN这四个归一化的计算流程几乎是一样的,可以分为四步:
1.计算出均值
2.计算出方差
3.归一化处理到均值为0,方差为1
4.变化重构,恢复出这一层网络所要学到的分布
下面简答你说一下各个部分的
他们的区别如下图所示
众所周知,深度网络中的数据维度一般是[N, C, H, W]或者[N, H, W,C]格式,N是batch size,H/W是feature的高/宽,C是feature的channel,压缩H/W至一个维度,其三维的表示如上图。
Batch Normalization:
1.BN的计算就是把每个通道的NHW单独拿出来归一化处理
2.针对每个channel我们都有一组γ,β,所以可学习的参数为2*C
3.当batch size越小,BN的表现效果也越不好,因为计算过程中所得到的均值和方差不能代表全局。
Layer Normalizaiton:
1.LN的计算就是把每个CHW单独拿出来归一化处理,不受batchsize 的影响
2.常用在RNN网络,但如果输入的特征区别很大,那么就不建议使用它做归一化处理
Instance Normalization
1.IN的计算就是把每个HW单独拿出来归一化处理,不受通道和batchsize 的影响
2.常用在风格化迁移,但如果特征图可以用到通道之间的相关性,那么就不建议使用它做归一化处理
Group Normalizatio
1.GN的计算就是把先把通道C分成G组,然后把每个gHW单独拿出来归一化处理,最后把G组归一化之后的数据合并成CHW
2.GN介于LN和IN之间,当然可以说LN和IN就是GN的特列,比如G的大小为1或者为C
Switchable Normalization
1.将 BN、LN、IN 结合,赋予权重,让网络自己去学习归一化层应该使用什么方法
2.集万千宠爱于一身,但训练复杂
======================
本文学习抄录自:https://blog.csdn.net/u013289254/article/details/99690730
深度学习《各种归一化的区别》相关推荐
- 深度学习之自编码器(4)变分自编码器
深度学习之自编码器(4)变分自编码器 1. VAE原理 基本的自编码器本质上是学习输入 x\boldsymbol xx和隐藏变量 z\boldsymbol zz之间映射关系,它是一个 判别模型(Di ...
- 深度学习之自编码器(5)VAE图片生成实战
深度学习之自编码器(5)VAE图片生成实战 1. VAE模型 2. Reparameterization技巧 3. 网络训练 4. 图片生成 VAE图片生成实战完整代码 本节我们基于VAE模型实战F ...
- 深度学习之自编码器AutoEncoder
深度学习之自编码器AutoEncoder 原文:http://blog.csdn.net/marsjhao/article/details/73480859 一.什么是自编码器(Autoencoder ...
- 深度学习之自编码器(3)自编码器变种
深度学习之自编码器(3)自编码器变种 1. Denoising Auto-Encoder 2. Dropout Auto-Encoder 3. Adversarial Auto-Encoder 一般 ...
- 深度学习之自编码器(2)Fashion MNIST图片重建实战
深度学习之自编码器(2)Fashion MNIST图片重建实战 1. Fashion MNIST数据集 2. 编码器 3. 解码器 4. 自编码器 5. 网络训练 6. 图片重建 完整代码 自编码器 ...
- 深度学习之自编码器(1)自编码器原理
深度学习之自编码器(1)自编码器原理 自编码器原理 前面我们介绍了在给出样本及其标签的情况下,神经网络如何学习的算法,这类算法需要学习的是在给定样本 x\boldsymbol xx下的条件概率 P( ...
- 【深度学习】 自编码器(AutoEncoder)
目录 RDAE稳健深度自编码 自编码器(Auto-Encoder) DAE 深度自编码器 RDAE稳健深度自编码 自编码器(Auto-Encoder) AE算法的原理 Auto-Encoder,中文称 ...
- 深入理解深度学习——Transformer:编码器(Encoder)部分
分类目录:<深入理解深度学习>总目录 相关文章: ·注意力机制(AttentionMechanism):基础知识 ·注意力机制(AttentionMechanism):注意力汇聚与Nada ...
- 深度学习之自编码器实现——实现图像去噪
大家好,我是带我去滑雪! 自编码器是一种无监督学习的神经网络,是一种数据压缩算法,主要用于数据降维和特征提取.它的基本思想是将输入数据经过一个编码器映射到隐藏层,再通过一个解码器映射到输出层,使得输出 ...
- 深度学习:自编码器、深度信念网络和深度玻尔兹曼机
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github. 本文主要讲解有关自编码器.深度信念网络和深度玻尔兹曼机的相关知识. 一.自编码器 1. ...
最新文章
- Run-Time Check Failure #0,The value of ESP was not properly saved 错误解决
- LINQ体验系列文章导航
- boost::hana::value_or用法的测试程序
- [转]Xvid参数详解
- qtreewidget点击空白处时取消以选项_VUE+elementUI 点击页面空白处弹窗不隐藏
- c++ stack 遍历_划重点啦!带你解读图的两种遍历方式
- 到底是无线最难?还是核心网最难?
- es6 数组找最大值_JavaScript(es6)数组常用的方法
- 通过图片url 获取图片file对象
- linux根据文件名批量下载,Linux下多文件按照指定顺序批量解压和按照指定文件名更名...
- 蚊香液加热器雷达感应,人体存在感应雷达模块,智能控制加热器启动与关闭
- matlab中options,[转载]Matlab优化函数中options选项的修改
- Mobile - 小米手机如何开通应用分身?应用多开?
- 数据库原理题型 - 选择题
- No.053<软考>《(高项)备考大全》【冲刺7】《软考之 119个工具 (5)》
- 安装.Net应用程序(如B站弹幕姬)报错:参照的程序集没有安装在系统上。 (异常来自 HRESULT:0x800736B3)
- 小米人体感应器触发,随机播放网易云音乐
- uniapp onReachBottom 触底事件
- 电脑提示msvcp120.dll丢失解决步骤(win系统)
- 花生壳代理(PHP)无法获取用户ip
热门文章
- MySQL2种多实例部署方式总结
- Cannot delete .... . Name node is in safe mode
- Python gevent学习笔记 1
- crc循环校验原理和实现
- 阿里云原生数据库POLARDB压力测试报告
- Linux内核参数(如kernel.shmmax)及Oracle相关参数调整(如SGA_MAX_SIZE)
- 数据可视化组件Grafana详细解读--Debian/Ubuntu上的安装
- debian 9.4 安装教程 linux系统debian9.4图文详细安装步骤
- 简说设计模式——策略模式
- 【Python】Python库之图形艺术