DenseNet简介

论文传送门：https://arxiv.org/pdf/1608.06993.pdf

CNN模型的发展十分火热，自LeNet提出以来，涌现了一批优秀的CNN模型。
LeNet是CNN的开山之作，标志着CNN真正的提出。2012年AlexNet夺得ILSVRC2012的冠军，深度学习大火。之后又涌现了VGG、GoogleNet、ResNet等，其中ResNet可谓是一个里程碑式的CNN模型。

本文介绍的DenseNet是CVPR 2017的best paper，在ResNet的基础上进行改进优化。

DenseNet和ResNet的核心思想都是创建一个跨层连接来连通网络的前后层，在DenseNet中作者为了最大化层级之间的信息流，将所有层两两进行连接，这也是DenseNet(Densely Connected Convolutional Networks)名字的意义所在，密集的网络连接。

DenseNet有多个优点：

大量的feature 被复用，这样只需要少量的卷积核，使得整个模型的参数数量减小。

可以加强feature的传递，减轻梯度消失的问题。

Dense block结构：

下图为一个Dense block的基础结构，可以看到，每一层的输入为前面所有的网络层。DenseNet的密集连接是存在于每一个Dense block内部的。

Dense block中第L层的输入和前面1到L-1层的输出都有关系，论文中公式表达为

其中[ ]表示concatenation即拼接操作，使用了非线性变换H，H为BN+ReLU+ Conv(3×3)的组合。

DenseNet网络结构：

下图为一个完整的DenseNet网络，包含多个Dense block以及transition layer。同一个Dense block中feature size的大小相同，通过transition layer实现下采样。

下图为DenseNet的网络参数详情：

DenseNet简介相关推荐

论文笔记：主干网络——DenseNet
Densely Connected Concolutional Networks 稠密连接的卷积神经网络文章目录 Densely Connected Concolutional Networks 稠 ...
DenseNet论文解读
DenseNet简介 DenseNet是CVPR2017的一篇oral paper,在获得更小的分类错误率的同时,网络模型的参数量也远小于之前的SOTA分类网络,如ResNets和Highway Ne ...
DenseNet:Densely Connected Convolutional Networks--CVPR2017最佳论文奖
DenseNet:Densely Connected Convolutional Networks--CVPR2017最佳论文奖 1.DenseNet简介 2.DenseNet与ResNet的主要区别 ...
DenseNet: Densely Connected Convolutional Networks
Densely Connected Convolutional Networks Tags: Backbobe 作者: Gao Huang, Zhuang Liu 发表日期: 2018 引用量: 26 ...
Assignment | 05-week3 -Part_1-Neural Machine Translation
该系列仅在原课程基础上课后作业部分添加个人学习笔记,如有错误,还请批评指教.- ZJ Coursera 课程 |deeplearning.ai |网易云课堂 CSDN:https://blog.csd ...
第05章深度卷积神经网络模型
序言 1. 内容介绍本章介绍深度学习算法-卷积神经网络用于图片分类的应用,主要介绍主流深度卷积神经网络 (CNN) 模型,包括 ResNet DenseNet SeNet 的算法模型.数学推 ...
DL之DenseNet：DenseNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之DenseNet:DenseNet算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略目录 DenseNet算法的简介(论文介绍) DenseNet算法的架构详解 3.DenseNe ...
全新池化方法AdaPool | 让ResNet、DenseNet、ResNeXt等在所有下游任务轻松涨点
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨ChaucerG 来源丨集智书童池化层是卷积神经网络的基本构建模块,它不仅可以减少网络的计算开 ...
【活动报名 | 青源Talk第3期】DenseNet发明者黄高：面向边缘设备的轻量神经网络...
活动议程日期:12月10日(周四) 时间主题 19:00-19:05 开场简介刘知远,清华大学计算机系副教授,智源青年科学家 19:05-19:50 <面向边缘设备的轻量神经网络> ...

DenseNet简介

DenseNet有多个优点：

Dense block结构：

DenseNet网络结构：

DenseNet简介相关推荐

最新文章

热门文章