关于Resnet网络中残差连接实线与虚线的含义

何凯明大神的残差网络在论文中给出了两种连接，分别是实线连接和虚线连接

那么图中的实线和虚线分别是什么含义呢？

在图中可以看到，每两层是作为一个block存在的，两层之间用实线或者虚线链接，实线连接的部分输入的通道数与输出的通道数是相同的，那么通过残差连接就可以直接相加，但是虚线的部分，输入通道的维数与输出通道的维数并不相同，那么不能直接相加，这时候就需要在残差连接的过程中添加一个1*1的卷积核来改变通道数。（比如图中最后一个虚线连接，输入通道的维数是256，输出通道的维数是512，这时候不能直接相加，首先要通过卷积核改变通道维数，然后再进行相加）。

*3表示3层为一个block重复三遍，有序的连接起来

*4表示3层为一个block重复四遍，有序的连接起来

*6表示3层为一个block重复6遍，有序的连接起来

*3表示3层为一个block重复三遍，有序的连接起来

注：channels已经在代码中确定了，容易更改的是重复多少遍。

所谓过拟合（over-fitting）其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。打个比喻就是当我需要建立好一个模型之后，比如是识别一只狗狗的模型，我需要对这个模型进行训练。恰好，我训练样本中的所有训练图片都是二哈，那么经过多次迭代训练之后，模型训练好了，并且在训练集中表现得很好。基本上二哈身上的所有特点都涵括进去，那么问题来了！假如我的测试样本是一只金毛呢？将一只金毛的测试样本放进这个识别狗狗的模型中，很有可能模型最后输出的结果就是金毛不是一条狗（因为这个模型基本上是按照二哈的特征去打造的）。所以这样就造成了模型过拟合，虽然在训练集上表现得很好，但是在测试集中表现得恰好相反，在性能的角度上讲就是协方差过大（variance is large），同样在测试集上的损失函数（cost function）会表现得很大。

所谓欠拟合呢（under-fitting）？相对过拟合欠拟合还是比较容易理解。还是拿刚才的模型来说，可能二哈被提取的特征比较少，导致训练出来的模型不能很好地匹配，表现得很差，甚至二哈都无法识别。

那么问题来了，我们需要怎么去解决过拟合和欠拟合的问题呢？？

过拟合：

首先我们从上面我们可以知道，造成过拟合的原因有可以归结为：参数过多。那么我们需要做的事情就是减少参数，这里有两种办法：

1、回想下我们的模型，假如我们采用梯度下降算法将模型中的损失函数不断减少，那么最终我们会在一定范围内求出最优解，最后损失函数不断趋近0。那么我们可以在所定义的损失函数后面加入一项永不为0的部分，那么最后经过不断优化损失函数还是会存在。其实这就是所谓的“正则化”。

下面这张图片就是加入了正则化（regulation）之后的损失函数。这里m是样本数目，landa（后面我用“t”表示，实在是打不出）表示的是正则化系数。

注意：当t（landa）过大时，则会导致后面部分权重比加大，那么最终损失函数过大，从而导致欠拟合

当t（landa）过小时，甚至为0，导致过拟合。
————————————————
版权声明：本文为CSDN博主「Wuhua Jr.」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_18254385/article/details/78428887

感谢

关于Resnet网络中残差连接实线与虚线的含义相关推荐

在c语言中用什么表示虚线,ERWin ERStudio图里的实线和虚线的含义[转]
注: ERWin 与 ERStudio 中这一点的描述方法是一样的. ERWin里面线代表实体间的三种关系:决定关系(Identifying Relationship),非决定关系(None-Iden ...
resnet网络中1*1卷积核如何进行升维和降维
左图是resnet34的残差结构,右图是resnet101.152等的残差结构. 右图中,输入图像有256个维度,用64个11256的卷积核对输入图像进行运算,得到64维度,即11卷积核对图像进行了降 ...
1. Resnet网络详解
一.ResNet网络介绍 ResNet是2015年有微软实验室提出的,题目: 作者是何凯明等,这四个都是华人. 当年ResNet斩获了当年各种第一名.基本上只要它参加的比赛,全都是第一名. 我们来看一 ...
ResNet网络详解
ResNet ResNet在2015年由微软实验室提出,斩获当年lmageNet竞赛中分类任务第一名,目标检测第一名.获得coco数据集中目标检测第一名,图像分割第一名. ResNet亮点 1.超深的 ...
了解ResNet网络结构特点，利用ResNet完成图像分类
学习目标知道ResNet网络结构的特点能够利用ResNet完成图像分类网络越深,获取的信息就越多,特征也越丰富.但是在实践中,随着网络的加深,优化效果反而越差,测试数据和训练数据的准确率反而降低 ...
任务定义的脑网络的内在连接模式可以个体化预测精神分裂症患者的认知症状维度
尽管精神分裂症患者的临床表现存在明显的个体间差异,但患者的精神病理学个体维度与其脑网络功能变异性的关联程度尚不清楚.在本研究中,我们使用基于网络的个体精神病理预测模型,基于4个数据驱动获得的症状维度来 ...
【论文翻译】HeteSim：异构网络中相关性度量的通用框架
原文链接:https://blog.csdn.net/Mrong1013967/article/details/115330139 HeteSim:异构网络中相关性度量的通用框架摘要相似性搜索是许 ...
CS224W-图神经网络笔记4.1：Community Structure in Networks - 网络中社区的特性
CS224W-图神经网络笔记4.1:Community Structure in Networks - 网络中社区的特性本文总结之日CS224W Winter 2021只更新到了第四节,所以下文会 ...
随机网络中通过Hebbian可塑性进行元学习(Meta-Learning through Hebbian Plasticity in Random Networks)
随机网络中通过Hebbian可塑性进行元学习(Meta-Learning through Hebbian Plasticity in Random Networks) 概述 Lifelong lear ...

关于Resnet网络中残差连接实线与虚线的含义

关于Resnet网络中残差连接实线与虚线的含义相关推荐

最新文章

热门文章