Identity Mappings in Deep Residual Networks2016【论文理解】

文章目录

前言
原始的残差模块
改进的残差模块
模块分析
结果图
模块代码
参考

前言

此论文是对Deep residual networks [1]残差网络模块结构的改进和实验，提出了残差模块第二版，此新的模块形式不管是在前向传播或者是反向传播都有很好的优势，并且在网络训练上更加的容易，收敛更快，精度更高，泛化性更低！

原始的残差模块

如下图，XlX_lXl为输入，Xl+1X_{l+1}Xl+1为输出，有如下公式yl=h(Xl)+F(Xl,Wl)，y_l = h(X_l) + F(X_l, W_l)，yl=h(Xl)+F(Xl,Wl)，Xl+1=f(yl)，X_{l+1} = f(y_l)，Xl+1=f(yl)，在下图所示的结构中h(Xl)=Xl，h(X_l) = X_l，h(Xl)=Xl， FFF为残差函数，如下图红色方框中的部分，其中f=Reluf = Reluf=Relu为激活函数。

改进的残差模块

文中尝试创造一个直接的信息传递通道，推导表明，如果h(Xl)h(X_l)h(Xl)和f(yl)f(y_l)f(yl)都是恒等映射，那么信号可以直接从一个单元传播到任何其他单元，包括向前和向后传递。实验表明使用此结构能够使训练变得更加容易，如下图

绿色方框内的改进是经过了多种实验得到的结果，但最初的设想是为了构造一个f(yl)=ylf(y_l) = y_lf(yl)=yl的单位映射，我们将激活函数(ReLU和BN)视为权重层的“预激活”，而不是传统意义上的“后激活”。此时的公式：yl=Xl+F(Xl,Wl)，y_l = X_l + F(X_l, W_l)，yl=Xl+F(Xl,Wl)，Xl+1=yl，X_{l+1} = y_l，Xl+1=yl，

模块分析

对新的模块yl=Xl+F(Xl,Wl)，y_l = X_l + F(X_l, W_l)，yl=Xl+F(Xl,Wl)，Xl+1=yl，X_{l+1} = y_l，Xl+1=yl，两公式结合可以得到Xl+1=Xl+F(Xl,Wl)，X_{l+1}= X_l + F(X_l, W_l)，Xl+1=Xl+F(Xl,Wl)，对此公式进行循环递归从lll浅层模块到LLL深层模块的公式如下：
XL=Xl+∑i=lL−1F(Xi,Wi)，X_L= X_l + \sum_{i=l}^{L-1}F(X_i, W_i)，XL=Xl+i=l∑L−1F(Xi,Wi)，此时可以发现有两个特别有意思的性质：（1）对于L个模块的特征XLX_LXL都可以由浅层特征XlX_lXl加上一系列的残差函数求得；（2）任何特征都可以从X0X_0X0求得，不管是前向传播和反向传播，信息都能到达网络的最底层，对梯度而言，不管梯度是有多小。
对于loss假设为ϵ\epsilonϵ，则根据链式法则求得反向传播：

∂ϵ∂Xl=∂ϵ∂XL(1+∂∂Xl∑i=lL−1F(Xi,Wi))\frac{\partial \epsilon}{\partial X_l}=\frac{\partial \epsilon}{\partial X_L}(1 +\frac{\partial }{\partial X_l} \sum_{i=l}^{L-1}F(X_i, W_i) )∂Xl∂ϵ=∂XL∂ϵ(1+∂Xl∂i=l∑L−1F(Xi,Wi))

每一个部分的梯度都只有两个部分构成，说明梯度不管多小都可以回传到最前层。其中∂ϵ∂XL\frac{\partial \epsilon}{\partial X_L}∂XL∂ϵ直接传播信息而不涉及任何权重层，∂ϵ∂XL∂∂Xl∑i=lL−1F(Xi,Wi)，\frac{\partial \epsilon}{\partial X_L}\frac{\partial }{\partial X_l} \sum_{i=l}^{L-1}F(X_i, W_i) ，∂XL∂ϵ∂Xl∂i=l∑L−1F(Xi,Wi)，经过之前的权重层传递信息。所以，∂ϵ∂XL\frac{\partial \epsilon}{\partial X_L}∂XL∂ϵ直接保证了信息会之前传送到前层的每一层！！防止了梯度消失的问题！

结果图

不仅训练更加容易，而且精度更加高！

模块代码

keras

def BatchActivate(x):x = BatchNormalization()(x)x = Activation('relu')(x)return x
def convolution_block(x, filters, size, strides=(1,1), padding='same', activation=True):x = Conv2D(filters, size, strides=strides, padding=padding)(x)if activation == True:x = BatchActivate(x)return x
def residual_block(blockInput, num_filters=16, batch_activate = False):x = BatchActivate(blockInput)x = convolution_block(x, num_filters, (3,3) )x = convolution_block(x, num_filters, (3,3), activation=False)x = Add()([x, blockInput])if batch_activate:x = BatchActivate(x)return x

参考

[1]He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR. (2016)