1 前言

今天在学习ResNet~
一直在学习和研究ResNet，不过有些东西一直没有弄懂，觉得还是需要通过实验来验证一下，
今天在学习CS231n时，Yang助教又讲到ResNet，这里我们再来复习和梳理一下ResNet的创作思想~
首先，ResNet解决了一个什么样的问题呢？

2 恒等映射的问题

根据Yang助教的说法，ResNet想要解决的问题是“恒等映射的问题”，
也就是，CNN网络无法拟合恒等映射；

具体来说，就是：何教授认为，“conv+relu+conv”的三层结构无法拟合恒等映射，也就是，函数映射：f(x):y=xf(x): \boldsymbol y =\boldsymbol xf(x):y=x。
（这里的我们将应变量和自变量都用函数表示，因为从广义看来，机器学习中所拟合的所有映射，最终都可以认为是两个列向量之间的函数映射）
那么实际情况是这样吗？
我们可以跟随吴教授在机器学习中的学习次序，来一一进行分析，
我们在 Machine Leanring课程中，依次学习的机器学习算法分别为：线性回归、逻辑回归和神经网络（NN网络）算法，其中，CNN网络可以看做NN网络的一种简化网络。
首先，我们来看看线性回归，
对于线性回归来说，其模型的函数映射为：y=Wx+b\boldsymbol y =\boldsymbol W \boldsymbol x+by=Wx+b，
可以看到，线性回归是可以拟合恒等映射的，
当W\boldsymbol WW为单位矩阵，b=0b=0b=0时，则有y=Wx+b=x\boldsymbol y =\boldsymbol W \boldsymbol x+b=\boldsymbol xy=Wx+b=x，即实现了恒等映射；
我们再来看看逻辑回归，

3 PyTorch代码阅读笔记

4 PaddleDetection代码阅读笔记

PaddleDetection中resnet的实现链接PaddleDetection–resnet.py

4.1 Module备注

_conv_norm—也就是conv+norm+relu
这里的_conv_norm也就是“conv+norm+relu”三者的合并；

4 备注

4.1 50层以上的ResNet和50层以下ResNet在实现上有什么区别？

50层以上的ResNet，例如：ResNet-101，使用了Bottleneck的结构，它会使得层数增加4倍，具体来说，就是输出的特征图的channel数是输入特征图channel的4倍，（而一般的Block输入输出的层数相同）,
在PyTorch官方实现中，用 expansion = 4表示这个；
inplanes是输入的维度，对应Conv2d()的in_channels参数；
planes是输出维度，对应BatchNorm2d的num_features参数；

4.2 为什么PyTorch官方实现时，conv函数的 bias = False？

因为PyTorch的官方实现在卷积层后面加入了BN的操作，BN技术中会为参数的分布添加偏置参数，所以就不需要使用conv的bias参数了；

ResNet的学习笔记~相关推荐

ResNet网络学习笔记。
ResNet网络学习看b站霹雳吧啦Wz 的视频总结的学习笔记! 视频的地址大佬的Github代码 1.ResNet详解 ResNet 网络是在2015年由微软实验室提出,斩获当年 ImageNe ...
ResNet 小白学习笔记
写在前面直接看论文对我这个小白来说太不友好了,几次放弃 /(ㄒoㄒ)/~~ .幸好找到了一个通俗易懂的视频:6.1 ResNet网络结构,BN以及迁移学习详解,以下笔记大部分基于视频内容,再补充了一 ...
Cifar10与ResNet18实战、lenet5、resnet（学习笔记）
1.44.Cifar10与ResNet18实战 Pytorch工程中建立pytorch,在pytorch里面创建lenet5.py.main.py.resnet.py. 1.44.1.lenet5.p ...
resnet50网络结构_学习笔记（一）：分析resnet源码理解resnet网络结构
最近在跑实验的过程中一直在使用resnet50和resnet34,为了弄清楚网络的结构和原理的实现,打开resnet的源码进行了学习. 残差网络学习的原理针对神经网络过深而导致的学习准确率饱和甚至是 ...
深度学习入门之PyTorch学习笔记：卷积神经网络
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 4 卷积神经网络 4.1 主要任务及起源 4.2 卷积神经网络的原理和结构 4.2.1 卷积层 1. ...
AI学习笔记（十四）CNN之图像分割
AI学习笔记之CNN之图像分割图像分割问题引入实现技术手段及分类语义分割-FCN(Fully Convolutional Networks) FCN--deconv 反卷积的具体步骤 Unpo ...
AI学习笔记（十一）CNN之图像识别(上）
AI学习笔记之CNN之图像识别(上) 图像识别图像识别简介模式识别图像识别的过程图像识别的应用分类与检测 VGG Resnet 迁移学习&inception 卷积神经网络迁移学习fi ...
AI学习笔记（十一）CNN之图像识别(下）
AI学习笔记之CNN之图像识别(下) 图像识别图像识别简介模式识别图像识别的过程图像识别的应用分类与检测 VGG Resnet 迁移学习&inception 卷积神经网络迁移学习fi ...
AI学习笔记（十二）物体检测（上）
AI学习笔记之物体检测(上) 物体检测简介常见检测网络 IOU TP.TN.FP.FN precision(精确度)和recall(召回率) 边框回归边框回归具体方法 Selective Sear ...

ResNet的学习笔记~