Switchable Normalization

BN 会对训练过程产生更重要的影响：它使优化解空间更加平滑了，这种平滑使梯度更具有可预测性和稳定性，从而使训练过程更快。

Minibatch 对 BN的影响最大，因为BN的均值和方差是在minibatch上统计的，minibatch越小，这些统计量的估计会带来更大的噪声，对模型训练产生的过大正则化，从而影响模型的泛化能力。而LN,IN,GN在计算量时虽然和minibatch无关，却由于缺乏正则化能力在大的minibatch时无法达到BN的精度（与BN不同，这些技术单独使用，往往会导致较明显的过拟合现象）。SN通过学习不同归一化方法的相互作用，克服上述问题。

Minibatch越小，SN中BN的权重系数越小，IN和LN的权重系数则越大

Minibatch越大，SN中BN的权重系数越大，IN和LN的权重系数越小

（x,y）x是GPU的数目，y是每个GPU的样本数

BN在计算量过程中会引入随机噪声，这些随机噪声为模型带来正则化作用，该作用的强度与minibatch size成反比，直观的说，由BN的均值和方差分别产生的正则化对模型训练会产生不同的影响。计算样本均值引入的噪声要弱于估计样本方差引入的噪声（噪声越大，正则化作用越强）。SN通过分别调节他们的权重，来增加或者减少模型的正则化作用，SN的自主选择过程旨在抑制噪声。

BN的作用随着minibatch size的减少会有明显的下降

BN会随着batch size的提高而提高，但是BN大了引入噪声小了，正则化作用弱了

怀疑网络结构batch_size小了，正则化作用明显，模型过拟合

Switchable Normalization相关推荐

深度剖析 | SN 可微分学习的自适配归一化 (Switchable Normalization)
补充:NIPS 2018 | MIT新研究参透批归一化原理根据最新的研究,BN层的成功和协方差什么的没有关联!证明这种层输入分布稳定性与 BatchNorm 的成功几乎没有关系.相反,我们发现 Ba ...
Group Normalization（BN、LN、IN、GN） Switchable Normalization Weight Standardization
BN BN的作用为了对隐含层进行归一化操作.对于每个隐层神经元,把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布,使得非线性变换函数的输入值落 ...
DIFFERENTIABLE LEARNING-TO-NORMALIZE VIA SWITCHABLE NORMALIZATION（SN 可微分学习的自适配归一化）
DIFFERENTIABLE LEARNING-TO-NORMALIZE VIA SWITCHABLE NORMALIZATION(SN 可微分学习的自适配归一化) 可交换的归一化方法这是根据不同作 ...
「Deep Learning」Note on Switchable Normalization
QQ Group: 428014259 Tencent E-mail:403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/deta ...
（转载）深度剖析 | 可微分学习的自适配归一化 (Switchable Normalization)
深度剖析 | 可微分学习的自适配归一化 (Switchable Normalization) 作者:罗平.任家敏.彭章琳编写:吴凌云.张瑞茂.邵文琪.王新江转自:知乎.原论文参考arXiv:180 ...
【SN】Switchable Normalization
https://zhuanlan.zhihu.com/p/39296570?utm_source=wechat_session&utm_medium=social&utm_oi=705 ...
Batch Norm、Layer Norm、Instance Norm、Group Norm、Switchable Norm总结
转自https://blog.csdn.net/qq_41997920/article/details/89945972 目录 1.综述 1. BN 2. LN 3. IN 4. GN 5. SN 2 ...
【AutoML】归一化(Normalization)方法如何进行自动学习和配置
大家好,欢迎来到专栏<AutoML>,在这个专栏中我们会讲述AutoML技术在深度学习中的应用.这一期讲述在归一化机制中的应用. 作者&编辑 | 言有三数据经过归一化和标准化后可 ...
rms归一化_【AutoML】归一化(Normalization)方法如何进行自动学习和配置
大家好,欢迎来到专栏<AutoML>,在这个专栏中我们会讲述AutoML技术在深度学习中的应用.这一期讲述在归一化机制中的应用. 作者&编辑 | 言有三数据经过归一化和标准化后可 ...

Switchable Normalization

Switchable Normalization相关推荐

最新文章

热门文章