ResNet网络是参考了VGG19网络，在其基础上进行了修改，并通过短路机制加入了残差单元，如图5所示。变化主要体现在ResNet直接使用stride=2的卷积做下采样，并且用global average pool层替换了全连接层。ResNet的一个重要设计原则是：当feature map大小降低一半时，featuremap的数量增加一倍，这保持了网络层的复杂度。从图5中可以看到，ResNet相比普通网络每两层间增加了短路机制，这就形成了残差学习，其中虚线表示featuremap数量发生了改变。图5展示的34-layer的ResNet，还可以构建更深的网络如表1所示。从表中可以看到，对于18-layer和34-layer的ResNet，其进行的两层间的残差学习，当网络更深时，其进行的是三层间的残差学习，三层卷积核分别是1x1，3x3和1x1，一个值得注意的是隐含层的feature map数量是比较小的，并且是输出feature map数量的1/4。

图5 ResNet网络结构图

表1 不同深度的ResNet

下面我们再分析一下残差单元，ResNet使用两种残差单元，如图6所示。左图对应的是浅层网络，而右图对应的是深层网络。对于短路连接，当输入和输出维度一致时，可以直接将输入加到输出上。但是当维度不一致时（对应的是维度增加一倍），这就不能直接相加。有两种策略：（1）采用zero-padding增加维度，此时一般要先做一个downsamp，可以采用strde=2的pooling，这样不会增加参数；（2）采用新的映射（projection shortcut），一般采用1x1的卷积，这样会增加参数，也会增加计算量。短路连接除了直接使用恒等映射，当然都可以采用projection shortcut。

图6 不同的残差单元

作者对比18-layer和34-layer的网络效果，如图7所示。可以看到普通的网络出现退化现象，但是ResNet很好的解决了退化问题。

图7 18-layer和34-layer的网络效果

最后展示一下ResNet网络与其他网络在ImageNet上的对比结果，如表2所示。可以看到ResNet-152其误差降到了4.49%，当采用集成模型后，误差可以降到3.57%。

表2 ResNet与其他网络的对比结果

说一点关于残差单元题外话，上面我们说到了短路连接的几种处理方式，其实作者在文献[2]中又对不同的残差单元做了细致的分析与实验，这里我们直接抛出最优的残差结构，如图8所示。改进前后一个明显的变化是采用pre-activation，BN和ReLU都提前了。而且作者推荐短路连接采用恒等变换，这样保证短路连接不会有阻碍。感兴趣的可以去读读这篇文章。

图8 改进后的残差单元及效果

这里给出ResNet50的TensorFlow实现，模型的实现参考了Caffe版本的实现（https://github.com/KaimingHe/deep-residual-networks），核心代码如下：

class ResNet50(object):  def __init__(self, inputs,num_classes=1000, is_training=True,scope="resnet50"):  self.inputs =inputs  self.is_training =is_training  self.num_classes =num_classes  with tf.variable_scope(scope):     # construct themodel   net =conv2d(inputs, 64, 7, 2, scope="conv1")#->   [batch,112, 112, 64]   net = tf.nn.relu(batch_norm(net,is_training=self.is_training, scope="bn1"))   net = max_pool(net, 3, 2, scope="maxpool1")#-> [batch, 56, 56, 64]   net = self._block(net, 256, 3, init_stride=1, is_training=self.is_training,scope="block2")# ->[batch, 56,56, 256]   net = self._block(net, 512, 4, is_training=self.is_training, scope="block3")#-> [batch, 28, 28, 512]   net = self._block(net, 1024, 6, is_training=self.is_training,scope="block4")#-> [batch, 14, 14, 1024]   net = self._block(net, 2048, 3, is_training=self.is_training, scope="block5")#-> [batch, 7, 7, 2048]   net =avg_pool(net, 7, scope="avgpool5")#-> [batch, 1,1, 2048]   net =tf.squeeze(net, [1, 2],            name="SpatialSqueeze")#-> [batch,2048]   self.logits = fc(net, self.num_classes,"fc6")#-> [batch,num_classes]   self.predictions =tf.nn.softmax(self.logits)   def _block(self, x, n_out, n,init_stride=2, is_training=True, scope="block"):    with tf.variable_scope(scope):    h_out = n_out // 4    out = self._bottleneck(x,h_out, n_out,      stride=init_stride,is_training=is_training, scope="bottlencek1")    for i in range(1, n):      out = self._bottleneck(out,h_out, n_out, is_training=is_training,scope=("bottlencek%s"% (i + 1)))      return out    def _bottleneck(self, x, h_out, n_out,stride=None, is_training=True, scope="bottleneck"):    """A residual bottleneck unit"""     n_in =x.get_shape()[-1]     if stride is None:      stride = 1 if n_in == n_out else 2     with tf.variable_scope(scope):       h = conv2d(x, h_out, 1, stride=stride, scope="conv_1")       h = batch_norm(h, is_training=is_training, scope="bn_1")       h = tf.nn.relu(h)       h = conv2d(h, h_out, 3, stride=1, scope="conv_2")       h = batch_norm(h, is_training=is_training, scope="bn_2")       h = tf.nn.relu(h)       h = conv2d(h, n_out, 1, stride=1, scope="conv_3")       h = batch_norm(h, is_training=is_training, scope="bn_3")     if n_in != n_out:       shortcut = conv2d(x,n_out, 1, stride=stride, scope="conv_4")       shortcut =batch_norm(shortcut, is_training=is_training, scope="bn_4")      else:        shortcut = x        return tf.nn.relu(shortcut+ h)

完整实现可以参见GitHub(https://github.com/xiaohu2015/DeepLearning_tutorials/)。