《卷积网络》深度卷积网络实例
经典网络
LeNet-5
共有约60k个参数，
特点
- 在论文中，激活函数使用的是sigmoid和tanh，那个时候还未使用ReLU.
- 当时出于节约计算力的考虑，不同的卷积核计算了不同的channel。（这里等之后看了论文补充）
- 池化层后添加了非线性激活函数(sigmoid)，而现在很少这样使用。
LeCun et al.,1998. Gradient-based learning applied to document recognition
论文Section2讨论了网络的架构，Section3讨论了实验结果。
AlexNet
特点
- 与LeNet类似，但是更大，约60m参数量。
- 使用了ReLU
- 多GPU训练
- Local Response Normalization(LRN) channel-wise normalization。现在并不常用
Krizhevsky et al.,2012 ImageNet Classification with Deep Convolutional Neural Networks
VGG-16
特点
- VGG网络使用了非常简单结构，约138M参数
- 所有的卷积层均为CONV = 3*3,s=1,padding=same
- 所有的池化层均为MAX-POOL=2*2,s=2
Simonyan&Zisserman 2015. Very deep convolutional networks for large-scale image recognition
ResNet
- Residual block
使用残差块可以训练更深的网络。ResNet中使用的残差块有下面两种。 - The identity block
- The convolutional block
当残差模块的输入和输出的形状不匹配时，使用卷积模块修改shortcut中输入的形状，使得shortcut(x)和输出形状匹配。
shortcut上的卷积层不适用任何非线性激活函数。其主要任务是对输入施加一个学习到的线性函数来改变输入的维度。 - 工作原理
identity function is easy for residual block to learn.
不会由于网络的加深使得效果变差。
He et al., 2015. Deep residual networks for image recognition
Network in Network(1x1卷积)
可以用来缩减channel数量
Lin et al., 2013. Network in network
Inception
特点
- Inception block
- 同时使用多种卷积核和池化，不必选择。卷积和池化均使用same填充。
Szegedy et al.,2014,Going Deeper with Convolutions
CNN使用建议
- 使用开源实现
- 迁移学习
- 数据扩增
使用CPU进行图片生成，GPU训练 - CV现状
参考资料
《深度学习》 deeplearning.ai
Introduction to Deeplearning HEC
《卷积网络》深度卷积网络实例相关推荐
- 经典卷积和深度卷积的神经网络
文章目录 LeNet网络 AlexNet 深度卷积神经网络 (AlexNet) VGG NIN(网络中的概念) 含并行连接的网络GoogLeNet / Inception V3 批量 归一化 一些B站 ...
- 基于深度卷积神经网络,深度卷积神经网络结构
1.卷积神经网络算法是什么? 一维构筑.二维构筑.全卷积构筑. 卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Fe ...
- 贝叶斯网络/深度信念网络学习
贝叶斯网络结构学习之K2算法(基于FullBNT-1.0.4的MATLAB实现) 贝叶斯网络结构学习之MCMC算法(基于FullBNT-1.0.4的MATLAB实现) 贝叶斯网络参数学习(基于Full ...
- Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二 架构对参数量/计算量的影响 在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
- 经典卷积神经网络（二）：VGG-Nets、Network-In-Network和深度残差网络
上一节我们介绍了LeNet-5和AlexNet网络,本节我们将介绍VGG-Nets.Network-In-Network和深度残差网络(residual network). VGG-Nets网络模型 ...
- VarGFaceNet：地平线提出轻量级、有效可变组卷积的人脸识别网络
作者 | Mengjia Yan.Mengao Zhao.Zining Xu.Qian Zhang.Guoli Wang.Zhizhong Su 译者 | 刘畅 编辑 | Jane 出品 | AI科技 ...
- 地平线开源轻量级、有效可变组卷积的人脸识别网络VarGFaceNet
点击我爱计算机视觉标星,更快获取CVML新技术 作者 | Mengjia Yan.Mengao Zhao.Zining Xu.Qian Zhang.Guoli Wang.Zhizhong Su 译者 ...
- 基于深度卷积神经网络分割的飞机类型识别
Airfraft Type Recognition Based on Segmentation With Deep Convolutional Neural Networks 2018 IEEE 摘要 ...
- （ICLR-2022）关于局部注意力和动态深度卷积之间的联系
关于局部注意力和动态深度卷积之间的联系 paper题目:ON THE CONNECTION BETWEEN LOCAL ATTENTION AND DYNAMIC DEPTH-WISE CONVOLU ...
- （ICLR-2022）关于局部注意力和动态深度卷积之间的联系(附录)
文章目录 APPENDIX A RELATION GRAPH B MATRIX FORM EXPLANATION C LOCAL ATTENTION VS CONVOLUTION: DYNAMIC W ...
最新文章
- 什么叫安装文件索引服务器,搜出精彩 玩转Windows 2008系统心得
- linux系统制作macos启动,MacOS下制作启动盘
- bootstrap4 左侧导航栏 优秀 大气_Axure导出html没有左侧菜单栏（导航栏）？——Mac Safari...
- ansys里面自带chemkin_ANSYS CHEMKINPRO复杂化学反应快速仿真
- 《计算机系统：系统架构与操作系统的高度集成》——1.3 操作系统的作用
- 关于mysql的wait_timeout参数 设置不生效的问题【转】
- 《你必须知道的.NET》书中对OCP（开放封闭）原则的阐述
- 启动mysql显示FAILED_转mysql提示mysql daemon failed to start 启动不了的解决办法
- 利用机器学习方法确定各个特征的权重
- CSS揭破实用窍门总结
- c语言中pinMode的作用,Arduino C语言的基本结构
- 机器学习和python学习之路精心整理技术书从入门到进阶
- uni-app通过canvas将两张图片合成一张图片
- 【八种基本分析方法】
- 使用MySql计算两个日期的时间差函数：TIMESTAMPDIFF
- 为什么走线选择50欧姆阻抗
- python画图双纵轴多张图折线柱状图
- apt-get安装问题：请尝试不指明软件包的名字来运行“apt-get -f install”
- IDEA中使用Git功能和IDEA中的Git分支管理
- 机器学习中的偏差、方差以及泛化误差