Aggregated Residual Transformations for DeepNeural Networks -ResNetXt2017【论文理解】
文章目录
- 前言
- 重新思考神经元
- 思考inception结构设计
- 新的blocks设计
- 网络结构与性能
- 参考
前言
这是残差家族的新的成员,在残差网络结构的设计中加入了“基数Cardinality”的概念,本质上就是分组卷积group convolution的运用,分组卷积最早的提出是在AlexNet中,是为了解决显存不够大的问题而提出的。具有相同网络拓扑结构的模块堆叠而成,在ImageNet分类中性能上优于ResNet-101/152[1],ResNet200 [2], Inception-v3 [3]以及 Inception-ResNet-v2 [4] 。并且搭建简单,不像inception网络的每一个模块都是经过了精心的设计,经过精心设计的模块可能并不适应于新的数据集。
因为是分类网络,所以直接看分类的效果:
在数据集 ImageNet-1K上效果明显优于网络层数相同时的ResNet。
重新思考神经元
人工神经网络中最简单的神经元执行内积(加权和),即由完全连通和卷积层完成的初等变换。公式如下,∑i=1Dwixi,\sum_{i=1}^{D}{w_ix_i},i=1∑Dwixi,此时x=[x1,x2,x3.....xD]x = [x_1,x_2,x_3.....x_D]x=[x1,x2,x3.....xD]为D通道的输入数据,wiw_iwi是卷积核对第i个输入通道的权重,如下图所示:
而这种形式就可以简单拆分成 分割、转换、聚合的三元操作:分割:数据以xix_ixi为单一的低纬度进行拆分,总共有D个;转换:对单一的某一通道进行wiw_iwi的内积,对数据进行变换;聚合:最后对所有的D个转换结果进行聚合,即∑i=1D\sum_{i=1}^{D}∑i=1D。
思考inception结构设计
其实inception model的结构设计也是一种 分割、转换、聚合的三元操作。使用1∗11*11∗1的卷积进行低纬度的分解,再对每一个维度进行3∗33*33∗3或者是5∗55*55∗5的转换操作最后使用concat进行聚合操作。尽管这些组件的仔细组合产生了优秀的神经网络方案,但是通常不清楚如何使先启架构适应新的数据集/任务,特别是当有许多因素和超参数需要设计时。
新的blocks设计
可以结合分割、转换、聚合的三元操作进残差模块之中,如下图所示,右边为原始的ResNet模块,左边为分解为32个简单通道再进行转换操作:
基数cardinality可以任意控制转换的复杂度,而左边的网络结构形式有如下三种等效的形式
最终使用的是左边的©使用组合卷积达到相同的结果。
新的网络101层的ResNetXt能够达到ResNet-200 的准确率,但是只有其复杂度的一半。
网络结构与性能
参考
[1] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, 2016.
[2] K. He, X. Zhang, S. Ren, and J. Sun. Identity mappings in deep residual networks. In ECCV, 2016.
[3] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. In CVPR, 2016.
[4] C. Szegedy, S. Ioffe, and V. Vanhoucke. Inceptionv4, inception-resnet and the impact of residual connections on learning. In ICLR Workshop, 2016.
Aggregated Residual Transformations for DeepNeural Networks -ResNetXt2017【论文理解】相关推荐
- 【翻译】Aggregated Residual Transformations for Deep Neural Networks
Aggregated Residual Transformations for Deep Neural Networks 作者:Saining Xie1 Ross Girshick2 Piotr Do ...
- 批量残差网络-Aggregated Residual Transformations for Deep Neural Networks
Aggregated Residual Transformations for Deep Neural Networks Facebook AI Research 大牛 Ross Girshick K ...
- ResNeXt - Aggregated Residual Transformations for Deep Neural Networks
<Aggregated Residual Transformations for Deep Neural Networks>是Saining Xie等人于2016年公开在arXiv上: h ...
- 论文阅读:Aggregated Residual Transformations for Deep Neural Networks
本萌新记录一下看过的论文,如果理解有误大佬们体谅下QAQ. 摘要: 作者提出一个用于图像分类的.简单.高度模块化的网络结构.该网络是通过重复一个构建块(building block)来构建的,该构建块 ...
- 论文笔记——Aggregated Residual Transformations for Deep Neural Networks(ResNeXt)
论文下载: https://arxiv.org/pdf/1611.05431.pdf 论文代码: https://github.com/miraclewkf/ResNeXt-PyTorch 论文摘要: ...
- 论文笔记 Aggregated Residual Transformations for Deep Neural Networks
这篇文章构建了一个基本"Block",并在此"Block"基础上引入了一个新的维度"cardinality"(字母"C" ...
- Aggregated Residual Transformations for Deep Neural Networks(论文翻译)
摘要 我们提出了一种用于图像分类的简单.高度模块化的网络架构.我们的网络是通过重复一个构建块来构建的,该构建块聚合了一组具有相同拓扑的转换.我们简单的设计产生了一个同质的多分支架构,只需设置几个超参数 ...
- Aggregated Residual Transformations for Deep Neural Networks
论文链接: https://arxiv.org/abs/1611.05431 废话不多说,先上图.上图左侧为A block of ResNet,右侧即为本文章所提出的新结构:A block of Re ...
- (Lightweight multi-scale aggregated residual attention networks for image super-resolution)阅读笔记
轻量级多尺度残差注意力网络 Lightweight multi-scale aggregated residual attention networks for image super-resolut ...
- 图像分类经典卷积神经网络—ZFNet论文翻译(中英文对照版)—Visualizing and Understanding Convolutional Networks(可视化和理解卷积网络)
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[ZFNet纯中文版] Visualizing and Understanding Con ...
最新文章
- 模拟电路基础秦世才_模拟电路电子技术基础知识
- SQL基础语法与规则
- docker连不上宿主机mysql_宿主机连接docker中的mysql
- 倒计时3天|阿里云数据库创新上云峰会亮点剧透
- javascript引擎执行的过程的理解--执行阶段
- SAP Spartacus 自定义 theme 实现思路
- 前端状态机系列:SCXML与XState对应关系
- Hibernate 异常:“@OneToOne or @ManyToOne on XXX references an unknown entity: XXX”
- c#实现文件批处理:剪切、复制、删除、改名、分类等
- 如何使用 Apple Watch 拨打电话?
- Android 面试那些事儿
- 制作抽签器用html,利用几何画板制作随机抽签器
- 计算机四级网络工程师(备考过程,避开误区,高效备考!)
- 重装系统原来这么简单,最详细的win7安装教程
- 【悟空云课堂】第七期:不安全的反射漏洞(CWE-470: Use of Externally-Controlled Input to Select Classes or Code)
- linux文件 含义,Linux各个文件及其含义
- 点击链接跳转到微信公众号关注页、微信关注链接。
- DirectShow入门
- 内卷、躺平与中年危机的相关思考
- 基于Javaweb的小项目(类似于qqzone) 7 —— 日志相关操作