shortcut和残差连接

最近搜索了下这几两个概念，记录一下个人理解。

shortcut

x、y是相邻两层，通过W_H连接，通过将多个这样的层前后串接起来就形成了深度网络。其中H表示网络中的变换。

为了解决深度网络的梯度发散问题，Highway在两层之间增加了（带权的）shortcut。

其中C=1-T。
残差连接（skip connect）

若没有加入identity分支，那么就是用非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。

但是当我们强行将一个输入添加到函数的输出的时候，虽然我们仍然可以用G(x)来描述输入输出的关系，但是这个G(x)却可以明确的拆分为F(x)和X的线性叠加。将输出表述为输入和输入的一个非线性变换的线性叠加。它解决了深层网络无法训练的问题。

首先我们定义残差单元：

Xl和Xl+1表示的是第l个残差单元的输入和输出，F是残差结构，表示学习到的残差，当h(xl)=xl时表示的就是恒等映射，f是relu激活函数。
通过递归，可以得到任意深层单元L特征的表达：

反向传播过程为：

表示损失函数到达L的梯度，小括号里的1表示短路机制(identity x)可以无损地传播梯度，而另一项残差梯度则需要经过带有weights的层，残差梯度不会那么巧全为-1，就算其很小，由于1的存在不会导致梯度消失，所以残差学习会更容易。

再举个例子看看残差网络是如何改善梯度消失现象的：
假设输入只有一个特征，没有偏置单元，每层只有一个神经元：

我们先进行前向传播,这里将Sigmoid激励函数写为s(x)：

z1 = w1*x

a1 = s(z1)

z2 = w2*a1

a2 = s(z2)

…

zn = wn*an-1 (这里n-1是下标)

an = s(zn)

根据链式求导和反向传播，我们很容易得出，其中C是代价函数

那如果在a1和a2之间加入残差连接，如下所示：

那么z2=a1*w2+a1
所以z2对a1求导的结果就是（w2+1）
上边的链式求导、反向传输的结果中的w2就变成了（w2+1）
所以残差连接可以有效缓解梯度消失的现象。

最后一个例子：

ResNet网络就是用到了这种残差连接。

shortcut和残差连接相关推荐

没有残差连接的ViT准确率只有0.15%！北大华为提出用于ViT的增强 Shortcuts，涨点显著！...
关注公众号,发现CV技术之美本文分享 NeurIPS 2021 论文『Augmented Shortcuts for Vision Transformers』,由北大&华为联合提出用于 Vi ...
残差连接（及梯度消失网络退化）详解
本文就说说用残差连接解决梯度消失和网络退化的问题. 一.背景 1)梯度消失问题我们发现很深的网络层,由于参数初始化一般更靠近0,这样在训练的过程中更新浅层网络的参数时,很容易随着网络的深入而导致梯度 ...
【神经网络】MLP 编码器-解码器注意力机制残差连接
[1] 多层感知机(MLP) 最典型的MLP包括包括三层:输入层.隐层和输出层,MLP神经网络不同层之间是全连接的(全连接的意思就是:上一层的任何一个神经元与下一层的所有神经元都有连接). 由 ...
「模型解读」resnet中的残差连接，你确定真的看懂了？
https://www.toutiao.com/a6708715626782786061/ 1 残差连接想必做深度学习的都知道skip connect,也就是残差连接,那什么是skip connec ...
【模型解读】resnet中的残差连接，你确定真的看懂了？
文章首发于微信公众号<与有三学AI> [模型解读]resnet中的残差连接,你确定真的看懂了? 这是深度学习模型解读第6篇,本篇我们将介绍深度学习模型中的残差连接. 作者&编辑 | ...
残差连接（skip connect）/（residual connections）
1.残差连接想必做深度学习的都知道skip connect,也就是残差连接,那什么是skip connect呢?如下图上面是来自于resnet[1]的skip block的示意图.我们可以使用一个 ...
残差连接residual connection
残差连接residual connection,假设神经网络某一层对input x进行了一个F操作,变为F(x),那么正常的神经网络输出为F(x),而加入残差连接以后,输出为x+F(x) 那么残差结构 ...
残差连接的解释（转）
本文首发于微信公众号<与有三学AI> [模型解读]resnet中的残差连接,你确定真的看懂了? 06 这是深度学习模型解读第6篇,本篇我们将介绍深度学习模型中的残差连接. 01 残差连接 ...
关于Resnet网络中残差连接实线与虚线的含义
何凯明大神的残差网络在论文中给出了两种连接,分别是实线连接和虚线连接那么图中的实线和虚线分别是什么含义呢? 在图中可以看到,每两层是作为一个block存在的,两层之间用实线或者虚线链接,实线连接的部 ...

shortcut和残差连接

shortcut和残差连接相关推荐

最新文章

热门文章