CNN网络模型发展进程及各个网络优缺点

此篇博客主要是讲一些目前较好的网络发展，提出问题，解决了什么问题,有什么优缺点。

1、Alexnet网络，本网络是2012年的分类冠军，掀起来深度学习的热潮，Alexnet参数量巨大，由于受限于硬件计算，作者采用了group 卷积，将特征图分别放入不同gpu进行运算，最后融合，但是此网络存在一个问题，不同特征图分别计算然后融合，如此卷积核只与某一部分的特征图进行卷积，这样卷积核获得的特征只有一部分，模型泛化能力有所下降，为解决这个问题，就有了shuffleNet.

2、shuffeNet:称为压缩网络，号称是可以在移动设备上运行的网络，将特征的通道平均分到不同组里面，卷积后，进行channnel shufflenet操作，具体如下：将每一组再进行细分，将当前组细分成多份，然后将这些再细分的小份，再输入之前不同的组。进行打乱。此篇论文是基于resnet改进，将renet每一模块，改为：11分组卷积，然后 BN,RELU后，进行shuffle，然后进行33卷积操作，不过33卷积操作是为depthwise操作，然后在进行11分组卷积，再与renet中的跳远连接进行通道融合，resnet是通道相加。

3、VGG,对于卷积核是否越大越好，vgg主要创新为加深了网络，将55卷积改成两个33卷积，这样可以大大减少计算量。

4、inception.2014分类冠军是否每一层网络只能用一种卷积核，而inception网络设计就是同一层分别用不同大小的卷积核，如此可以获得不同尺度的特征，增强网络对多尺度的适应性，另外一个创新就是采用了network in network网络中11卷积来减少运算量。inceptionv2创新点为提出了BN网络层，这样使得训练更容易收敛，加快训练速度，缓解梯度爆炸，也有一定的正则化的效果，inceptionv3创新为：将55,33卷积改为15,51,13,31卷积。inceptionv4创新为利用了残差网络，一起结合。

5、resnet，2015分类冠军，网络越深就越难训练，梯度消失梯度爆炸就会影响。提出resnet，一个跳远连接。改革性成果，如此就可以训练更深的网络，解决越深就会效果越差的问题，其中有很多resnet的改进，具体代表为，densenet,ResReXt,wide resnet.

6、MobieNet:卷积操作是否必须同时考虑通道与区域，此篇论文就解决了这个问题，将传统卷积操作，分为两步进行，先进行Depth Wise操作即：对每一个通道进行各自卷积操作，不进行相加操作。再进行11卷积操作，这样大大降低了参数量。

7、SEnet;是否每一层的特征图都是不分权重直接结合的，是否每个特征图起的作用都是一样的呢？本网络就是解决这个问题，对每一层的特征进行训练，使得有效特征图权重大，无效的特征图权重小，根据loss去训练特征权重。senet并不是完全的模块，只是小模块，用来嵌入其他网络。具体操作为：先将输入进行全局平均池化，变为一维，然后两个全连接层，训练权重，两个全连接层采用relu与sigmoids激活函数，然后将输出与输入相乘。得出结果。senet为2017年分类冠军。

8、空洞卷积；能否让卷积核看到更大的区域，则有了空洞卷积，即可以增强模型表现力。，也不增大计算量。

9、卷积核的形状一定是卷积吗？就提出了可变现卷积。使得卷积后能够看到他感兴趣的区域，这样可以提高识别效果，

CNN网络模型发展进程及各个网络优缺点相关推荐

CNN网络模型的发展概述
写在开篇这个系列主要介绍卷积神经网络模型(CNN)在发展进程中的重要的.有代表性的CNN模型的原理和实现.这第一篇文章简要介绍一下CNN发展进程中的几个关键节点(即经典CNN模型). 经典CNN网络 ...
CNN经典模型发展进程
CNN模型合集-Mengcius专栏 [CNN常见模型0--储备知识]深度神经网络(DNN)模型,前向传播算法和反向传播算法(BP) [CNN常见模型0]卷积神经网络(CNN)模型结构 [CNN常见模 ...
人工神经网络模型发展及应用综述
摘要:机器学习这一词不断的出现在网络上,也是近几年受欢迎的热词,而机器学习的基础算法就是人工神经网络,人工神经网络的研究是当下各种网络的基础,也越来越受人们的关注,现在人工神经网络的发展在当下不管是理 ...
CNN网络模型大总结【持续更新中...】
本文将总结从LeNet5开始到现在,具有代表性或具有创新意义的CNN网络模型架构.本文特点是, 一.总结内容精简,适于想快速了解网络整体体系结构的人进行阅读: 二.附带有相关网络图,来源于论文或网络, ...
关于计算机优点缺点的英语作文,关于网络优缺点的英语作文4篇
关于网络优缺点的英语作文4篇导语:随着科技的发展,电脑在二十一世纪成了人们必要的用品.随之而来,网络与我们的生活息息相关,给现代人的.生活.工作带来了无与伦比的方便. 篇一:关于网络优缺点的英语作文 ...
解密多旋翼发展进程【北京航空航天大学：全权】
解密多旋翼发展进程[北京航空航天大学:全权] 原文转载自 Exbot, 原文链接 http://blog.exbot.net/archives/2044 作者:全权北京航空航天大学自动化科学与电气工 ...
INE智联生态的发展进程和目标
2015年 Q1 首次提出Mesh网络的发展模型: Q4 Mesh 网络技术专业团队组建于上海浦东软体园,研讨优化Mesh网络设备的使用协议. 2016年 Q2 全球首款Mesh移动自组织接入,可携式 ...
Linux权限和进程管理、网络配置、任务调度（四）
目录一.组管理和权限管理 1.Linux组基本介绍 2.文件/目录所有者 (1)查看文件的所有者 (2)修改文件所有者 3.组的创建 4.文件/目录所在组 (1)查看文件/目录所在组 (2)修改文件 ...
简述人工智能的发展历程图_人工智能的发展进程及现状
龙源期刊网 http://www.qikan.com.cn 人工智能的发展进程及现状作者:刘梦杰来源:<科技创新与应用> 2020 年第 12 期摘 ; 要:随着科学技术的进步与发展 ...

CNN网络模型发展进程及各个网络优缺点

CNN网络模型发展进程及各个网络优缺点相关推荐

最新文章

热门文章