Batch Normalization介绍

什么是批归一化Batch Normalization
训练神经网络的时候，如果只对输入层数据进行归一化处理，当数据经过wx+b这样的矩阵乘法以及非线性运算之后，其数据分布很可能会被改变，随着层数越来越深，数据分布变化越来越大，为了让激活函数的输入层更合理分布，所以我们考虑在网络的中间层也进行归一化，这就是BN

Batch Normalization的流程
设定上一层的输出结果是X= x 1 , x 2 . . . , x m x_1,x_2...,x_m x1,x2...,xm，
第一步计算上一层输出的均值：
常量 u β = ( x 1 + x 2 + . . . + x m ) / m u_{\beta}=(x_1+x_2+...+x_m)/m uβ=(x1+x2+...+xm)/m；其中m是batch size大小

第二步计算上一层输出数据的标准差：
常量 σ β 2 = ∑ i = 1 m ( x i − u β ) 2 / m {\sigma}^2_{\beta}={\sum}_{i=1}^m(x_i-u_{\beta})^2/m σβ2=∑i=1m(xi−uβ)2/m

第三步进行标准差标准化
x ‘ = x − u β σ 2 + ϵ x^{`} = \frac{x-u_{\beta}}{\sigma^2+\epsilon} x‘=σ2+ϵx−uβ 其中 ϵ \epsilon ϵ是一个微小常数，只是为了让分母不等于0 。

第四步重构x。得到每一层新的输入分布
y = γ ∗ x ‘ + β y=\gamma*x^` + \beta y=γ∗x‘+β，其中学习的参数是 γ , β {\gamma},{\beta} γ,β.

上述是训练过程的批归一化，但是在测试过程中，基本只有一个测试样本，此时 u β u_\beta uβ是从计算的所有批次batch 的 u β u_\beta uβ加起来平均得到的，而标准差 σ β 2 {\sigma}^2_{\beta} σβ2是根据每个批次 σ β 2 {\sigma}^2_{\beta} σβ2的无偏估计得到的。所以当模型训练完毕的时候，测试阶段需要的参数也已经固定了。
其中固定的均值和方差就是
E [ x ] = E B [ u β ] E[x]=E_B[u_\beta] E[x]=EB[uβ]
V a r [ x ] = m m − 1 E B [ σ 2 ] Var[x]=\frac{m}{m-1}E_B[\sigma^2] Var[x]=m−1mEB[σ2]

测试时候，输入的分布就是
x ‘ = x − E [ x ] V a r [ x ] + ϵ x^`=\frac{x-E[x]}{\sqrt{}Var[x]+\epsilon} x‘= Var[x]+ϵx−E[x]

每一层的分布就变成

批归一化BN的优点
1是为了加快模型训练
2是每一层的归一化避免了梯度消失或者梯度爆炸
3是关于BN能否解决过拟合的问题，这个问题网上讨论很多，我认为一种比较好的解答如下：个人认为BN不能解决过拟合，根据paper中的实验来说，是无法阻止过拟合的。但是BN可以在某些情况下对过拟合有抑制作用，使得过拟合在更多的 train epoch之后才出现。不能解决但是能缓解。
BN的核心思想不是为了防止梯度消失或者是防止过拟合，其核心思想是通过系统参数搜索空间进行约束来增加系统鲁棒性，这种约束压缩了搜索空间，约束也改善了系统的结构合理性，这会带来一些列的性能改善，比如加速收敛、保证梯度、缓解过拟合等等，这也是为什么很多模型使用BN就不用dropout了。

归一化的意义
训练归一化的意义，缓解深层网络的梯度弥散问题，加快模型训练。
那么在深度学习模型中，越深的层数据分布变化的越剧烈，导致之前底层学习到的参数很难适应当前的数据分布。这样会导致
1 训练速度变慢；
2 前一层的剧烈变化可能导致后一层陷入饱和区，提前结束训练；
3层与层之间相互影响，优化很难进行。
常见的两种归一化
第一种线性归一化
x ‘ = x − m i n ( x ) m a x ( x ) − m i n ( x ) x^`=\frac{x-min(x)}{max(x)-min(x)} x‘=max(x)−min(x)x−min(x)
第二种标准差标准化
x ‘ = x − u σ x^`=\frac{x-u}{\sigma} x‘=σx−u
标准差标准化让处理后的数据符合标准正态分布，也就是均值0，标准差1

Batch Normalization介绍相关推荐

深度神经网络中的Batch Normalization介绍及实现
之前在经典网络DenseNet介绍_fengbingchun的博客-CSDN博客_densenet中介绍DenseNet时,网络中会有BN层,即Batch Normalization,在每个Dense ...
『教程』Batch Normalization 层介绍
原文链接思考 YJango的前馈神经网络--代码LV3的数据预处理中提到过:在数据预处理阶段,数据会被标准化(减掉平均值.除以标准差),以降低不同样本间的差异性,使建模变得相对简单. 我们又知道神经 ...
Batch Normalization （BN）简洁介绍
提出BN的文献: Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network trainin ...
【华为云技术分享】Batch Normalization (BN) 介绍
Batch Normalization(BN)解决的是Internal Covariate Shift (ICS)的问题. Internal Covariate Shift在文中定义为 The cha ...
batch normalization
20210702 深度学习中的五种归一化(BN.LN.IN.GN和SN)方法简介 https://blog.csdn.net/u013289254/article/details/99690730 h ...
详解Batch Normalization及其反向传播
↑ 点击蓝字关注视学算法作者丨风行天上@知乎来源丨https://zhuanlan.zhihu.com/p/45614576 极市导读本文介绍了Batch Normalization的过程及其 ...
Batch Normalization的诅咒
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达作者:Sahil Uppal 编译:ronghuaiyang 导读 ...
Batch Normalization应该放在ReLU非线性激活层的前面还是后面？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达编辑:CVDaily 转载自:计算机视觉Daily https: ...
Lesson 14.3 Batch Normalization综合调参实战
Lesson 14.3 Batch Normalization综合调参实战根据Lesson 14.2最后一部分实验结果不难看出,带BN层的模型并不一定比不带BN层模型效果好,要充分发挥BN层的效 ...

Batch Normalization介绍

Batch Normalization介绍相关推荐

最新文章

热门文章