ResNet的改进系列：ResNext和Res2Net

2024-06-03 02:45:19

ResNext:
paper: https://arxiv.org/abs/1611.05431
code: https://github.com/facebookresearch/ResNeXt
Res2Net:
paper: https://arxiv.org/pdf/1904.01169.pdf
code: https://mmcheng.net/res2net/

这次和大家分享两篇ResNet改进系列的文章，一篇是2017年发表在CVPR上面的ResNext，其采用“split-transform-merge”思路，设计了Cardinality(基数)卷积方式，构建了ResNext block;另一篇是2019年发表的Res2Net，作者提出在原有的残差单元结构中增加小的残差块，使网络能够在更细粒度上表示多尺度特征，并增加每一层网络的感受野。
ResNext是ResNet和Inception的结合体，其本质就是分组卷积，通过Cardinality(基数)来控制组的数量。ResNext的卷积块结构如下图1所示，其中每一个矩形框内表示的是一个卷积，参数从左到右分别是输入通道，卷积核大小，输出通道，然后每一列表示一个Cardinality,一共32个，最后再把所有的Cardinality的结果相加到一起，并且添加输入到输出的快捷连接。

图1 ResNext卷积块示意图
ResNext和其他同等结构的比较如下图2所示，图2(a)表示先进行卷积，然后进行块相加结合；图2(b)表示先进行拼接，然后再进行卷积；图2©表示将开始的1x1合并到一起，然后进行32个3x3的分组卷积。

图2 ResNext的同等结构
ResNex的实验结果如下图3所示，相同层数的ResNet和ResNex在Imagenet上实验结果表明，ResNext的训练误差和测试误差都比ResNet低。

图3 ResNext在ImagenNet-1k上的实验结果

Res2Net是在原有的残差单元结构中增加小的残差块，同时增加了每一层网络的感受野大小，其网络结构如下图4所示。图4(a)表示的是基本的残差卷积块；图4(b)是对(a)中的3x3进行改进，将1x1卷积后的特征图按通道数平均分为s(图中s=4)块，每一个小块是Xi,每一个Xi都会进行一个3x3的卷积，用Ki ( )表示卷积，卷积结果由Yi表示, Xi与Ki-1 ( )的输出相加，然后送入Ki ( )。这样就可以得到不同数量和不同感受野大小的输出，例如：y2得到3x3的感受野，y3可以得到5x5的感受野，y4则可以得到更大的7x7的感受野。最后将4个结果进行拼接融合，再进行1x1的卷积，这种先拆分后融合的思路可以得到多尺度的特征，和更好的进行特征融合。

图4 Res2Net的网络结构示意图
Res2Net和SENet相结合的改进结构如下图5所示，主要改进就是将Res2Net中的单个3x3卷积换成了多组的3x3卷积，并且再Res2Net后加入了一个SE block，对每一个通道分配一个权重，来增加每个通道的特征相应。

图5 Res2Net改进结构示意图
Res2Net的实验结果如下图6所示，在ImageNet数据集上Res2Net比ResNet、DLA、SEResNet、DensNet有更小的误差。并且在检测和分割任务上也可以起到很好的提升精度的作用。

图6 Res2Net在ImageNet上的实验结果

ResNet的改进系列：ResNext和Res2Net相关推荐

【最强ResNet改进系列】Res2Net：一种新的多尺度网络结构，性能提升显著
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]2020年,在各大CV顶会上又出现了许多基于ResNet改进的工作,比如:Res2Ne ...
【最强ResNet改进系列】IResNet：涨点不涨计算量，可训练网络超过3000层！
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]本篇文章是[最强ResNet改进系列]的第四篇文章,前面我们已经介绍了Res2Net和 ...
全新池化方法AdaPool | 让ResNet、DenseNet、ResNeXt等在所有下游任务轻松涨点
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨ChaucerG 来源丨集智书童池化层是卷积神经网络的基本构建模块,它不仅可以减少网络的计算开 ...
从ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 演进学习总结
本文主要总结一下最近学习ResNet.DenseNet.ResNeXt.SE Net.SE ResNeXt 的演进,归纳了一下整个特点,话不多说先上图: 1.ResNet 1.1 结构特点 1.sho ...
YOLOv5改进系列（1）——添加SE注意力机制
前言从这篇开始我们进入YOLOv5改进系列.那就先从最简单的添加注意力机制开始吧!(￣︶￣)↗ [YOLOv5改进系列]前期回顾: YOLOv5改进系列(0)--重要性能指标与训练结果评价及分析目 ...
YOLOv5改进系列（8）——添加SOCA注意力机制
[YOLOv5改进系列]前期回顾: YOLOv5改进系列(0)--重要性能指标与训练结果评价及分析 YOLOv5改进系列(1)--添加SE注意力机制
CSDN芒果独家原创YOLOv5改进、YOLOv7改进（适用YOLOv8改进）专栏 | 《芒果YOLO改进系列进阶指南》来自人工智能专家唐宇迪老师联袂推荐
<芒果改进YOLO系列进阶指南>目录
魔改算法——YOLOv5/YOLOv7改进系列汇总
魔改YOLO系列算法改进: 改进YOLOv5/YOLOv7--魔改YOLOv5/YOLOv7提升检测精度__加勒比海带66的博客目标检测算法--YOLOv7训练自己的数据集(保姆级教程) 目标检测算 ...
现在物价虽然高得离谱，但是内存条都白菜价格了，需要调整程序架构的思维“与时俱进” --- 改进系列之一...
写程序超过10年的企业内部管理系统,今年开始总算是彻底走向web网络编程了,但是由于以前的一些老的思想还没彻底抛弃,导致写程序的思维有时候还有一些老旧.下面从一些思维的转变开始谈起. 实际情况: 1: ...

最新文章

热门文章