组归一化（Group Normalization）的解释
发现百家号的如下文章，解释的比较清晰。大家可去学习参考。
文章标题是“全面解读Group Normalization”，网址如下
http://baijiahao.baidu.com/s?id=1596620335120928574&wfr=spider&for=pc
BN是深度学习中常使用的归一化方法，在提升训练以及收敛速度上发挥了重大的作用，是深度学习上里程碑式的工作。
BN是一种归一化方式，而且是以batch的维度做归一化，依赖batch，过小的batch size会导致其性能下降，一般来说每GPU上batch设为32最合适。
1、BN会受到batchsize大小的影响。如果batchsize太小，算出的均值和方差就会不准确，如果太大，显存又可能不够用。
2、GN算的是channel方向每个group的均值和方差，和batchsize没关系，自然就不受batchsize大小的约束。
随着batchsize的减小，GN的表现基本不受影响，而BN的性能却越来越差。
BN，LN，IN，GN从学术化上解释差异：
LayerNorm：channel方向做归一化，算C*H*W的均值
InstanceNorm：一个channel内做归一化，算H*W的均值
GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)*H*W的均值
组归一化（Group Normalization）的解释相关推荐
- group normalization
全面解读Group Normalization-(吴育昕-何恺明 ) - 知乎前言 Face book AI research(FAIR)吴育昕-恺明联合推出重磅新作Group Normalizati ...
- 何恺明、吴育昕最新成果：用组归一化替代批归一化
编译 | 阿司匹林 AI科技大本营按:近日,FAIR 团队的吴育昕和何恺明提出了组归一化(Group Normalization,简称 GN)的方法.其中,GN 将信号通道分成一个个组别,并在每个组别 ...
- 深度学习（二十八）——SOM, Group Normalization, MobileNet, 花式卷积进阶
RBM & DBN & Deep Autoencoder(续) DBN RBM不仅可以单独使用,也可以堆叠起来形成Deep Belief Nets(DBNs),其中每个RBM层都与其前 ...
- 论文阅读 - Group Normalization
文章目录 1 概述 2 几种normalization的方法 2.1 Batch Norm 2.2 Layer Norm 2.3 Instance Norm 2.4 Group Norm 3 效果对比 ...
- 深度剖析 | SN 可微分学习的自适配归一化 (Switchable Normalization)
补充:NIPS 2018 | MIT新研究参透批归一化原理 根据最新的研究,BN层的成功和协方差什么的没有关联!证明这种层输入分布稳定性与 BatchNorm 的成功几乎没有关系.相反,我们发现 Ba ...
- 常用的归一化（Normalization） 方法：BN、LN、IN、GN
常用的Normalization方法主要有:Batch Normalization(BN,2015年).Layer Normalization(LN,2016年).Instance Normaliza ...
- Group Normalization（BN、LN、IN、GN） Switchable Normalization Weight Standardization
BN BN的作用 为了对隐含层进行归一化操作.对于每个隐层神经元,把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布,使得非线性变换函数的输入值落 ...
- Batch Nomalization,Group Normalization,Cross-Iteration Batch Normalization分析
BatchNomalization 发表于第32届机器学习国际会议 PMLR,2015年 前言 由于深度神经网络每层输入的分布在训练过程中随着前一层的参数变化而变化,因此训练深度神经网络很复杂.由于需 ...
- （转载）深度剖析 | 可微分学习的自适配归一化 (Switchable Normalization)
深度剖析 | 可微分学习的自适配归一化 (Switchable Normalization) 作者:罗平.任家敏.彭章琳 编写:吴凌云.张瑞茂.邵文琪.王新江 转自:知乎.原论文参考arXiv:180 ...
- 【AI数学】Group Normalization(何恺明ECCV2018最佳论文提名)
声明:原创文章,欢迎转载,但必须经过本人同意. 论文标题:<Group Normalization> 论文链接: https://arxiv.org/pdf/1803.08494.pdf ...
最新文章
- Oracle-01033错误处理
- 如何安装fedora13的显卡驱动
- 四种常见的MapReduce设计模式
- aqs clh java_【Java并发编程实战】—– AQS(四)：CLH同步队列
- java udp传输文件_JAVA使用UDP收发文件
- 如何设计订单系统？不妨看看这篇文章
- LiveVideoStack 2022迎春招聘
- Java提高班（五）深入理解BIO、NIO、AIO
- java 秒杀 源码 下载_java高并发秒杀系统3-4节秒杀功能实现.mp4
- 【转】处理wording的一些参考
- Perl+批处理实现半自动批量生成动态通讯组
- java 在类中定义接口_我们可以在Java接口中定义一个类吗？
- MOEA/D的通俗解析--1.MOEA
- 第6节 远程管理路由器及交换机—基于Cisco Packet Tracer
- VSCode如何打开Interpreter
- Python语言特色集锦
- git push origin HEAD
- 祝大家新年快乐，鼠年平安健康、阖家幸福如意！
- 内存映射文件之剖析(一)
- SQL查记录总数-总数统计的方法