0、概览

（1）详解深度学习之经典网络架构（一）：LeNet

（2）详解深度学习之经典网络架构（二）：AlexNet

（3）详解深度学习之经典网络架构（三）：ZFNet

（4）详解深度学习之经典网络架构（四）：VGG-Net

（5）详解深度学习之经典网络架构（五）：GoogLeNet 四代(Inception v1、v2、v3、v4)

（6）详解深度学习之经典网络架构（六）：ResNet 两代（ResNet v1和ResNet v2）

（7）详解深度学习之经典网络架构（七）：DenseNet

（8）详解深度学习之经典网络架构（八）：ResNeXt

（9）详解深度学习之经典网络架构（九）：DPN（Dual Path Network）

1、个人心得

（1）LeNet：元老级框架，结构简单，却开创了卷积神经网络的新纪元，具有重要的学习价值。

（2） AlexNet：打开了深度学习的大门，深度学习成为学术界的新宠。主要意义在于验证了神经网络的有效性，为后续的发展提供了参考。

（3）ZF-Net：这个在Alex上改进较少，主要贡献是2点：

a）由AlexNet的双GPU改为单GPU上训练;

b）对神经网络的每一层都进行了可视化，这是最主要的贡献。

（4）VGG-Net：在AlexNet的基础上，提出了更深的网络，分别为VGG-16和VGG-19，参数是AlexNet的三倍，为后面的框架提供了方向：加深网络的深度。

（5）GoogLeNet：有四个版本，主要是在网络宽度上进行了改进，不像VGG-Net只是单纯增加深度，在同一层中使用了多个不同尺寸的卷积，以获得不同的视野，最后级联（直接叠加通道数量），这就是Inception module从v2开始，进一步简化把Inception module中的n×n模块分解为1×n和n×1的组合，减少了参数数量，v3进一步把最开始的7×7卷积和其他非3×3进行分解，v4引入了ResNet残差的思想。

（6）ResNet：首次提出了残差的思想（跨层连接，即 $H(x)=F(x)+x$ ），解决了网络过深而导致的梯度消失的问题，为更深的网络提供了有力的方向。注意：

a）此处的跨层连接的计算方式和GoogLeNet中的级联不同，这里是每个通道进行相加操作，如果 $x$ 的通道数和 $H(x)$ 的通道数不同，则对 $x$ 用1×1的卷积操作，使得维度一样；

b）有有两个版本v1和v2，v2只是引入了BN（banch normalization），并讨论的BN放置位置的问题，其他思想一样。

（7）DenseNet：比ResNet来的更加彻底，即当前的每一层都和前面的每一层连接。这里有两点值得注意：

a）为了解决每个输入的尺寸不一样的问题，因此提出了Dense block，即在这个模块中才进行每一层的连接，这样便于控制输入尺寸的大小，Dense block模块之间就可以放心的使用池化操作了;

b）此处的连接的计算方式为级联（直接叠加通道数量），和GoogLeNet一样，和ResNet不同。

（8）ResNeXt：在ResNet的基础上，借鉴GoogLeNet的思想，增加了网络的宽度，同时，为了简化设计的复杂度，不像Inception module里面采用了不同尺寸的卷积，这里使用相同的的卷积，并用了32个，最后每个通道相加，和Inception module的级联不同。

（9）DPN：一种双通道网络，结合了ResNet和DenseNet的优点，具有一定的参考价值。

2、总结

深度学习还有很大的发展空间，这里总结的是一些经典网络架构，还有很多有意思的网络架构，可以参考我以后的博客，会不定时更新一些最新的技术。

详解深度学习之经典网络架构（十）：九大框架汇总相关推荐

详解深度学习之经典网络:AlexNet(2012) 并利用该网络架构实现人脸识别
@[TOC](详解深度学习之经典网络:AlexNet(2012) 并利用该网络架构实现人脸识别**) 近来闲来无事,翻出了搁置已久的轻薄版电脑,望着积满灰尘的显示屏,觉得有愧于老师的尊尊教导,心中叹息 ...
深度学习之经典网络架构AlexNet(二)
一.简介 AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的.也是在那年之后,更多的更深的神经网路被提出,比如优秀的vgg,Google ...
【阿里云课程】详解深度学习优化：泛化与正则化，学习率与最优化
大家好,继续更新有三AI与阿里天池联合推出的深度学习系列课程,本次更新内容为第6课中两节,介绍如下: 第1节:泛化与正则化第1节课内容为:泛化与正则化,讲述泛化的概念与重要性,各种正则化方法,包括显 ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（四，完结篇）
作者 | 蘑菇先生知乎 | 蘑菇先生学习记深度学习Attention小综述系列: 四万字全面详解 | 深度学习中的注意力机制(一) 四万字全面详解 | 深度学习中的注意力机制(二) 四万字全面详解 ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（二）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记前情提要:四万字全面详解 | 深度学习中的注意力机制(一) 目前深度学习中热点之一就是注意力机制(Attention ...
详解深度学习中的Normalization，不只是BN（2）
" 深度神经网络模型训练之难众所周知,其中一个重要的现象就是 Internal Covariate Shift. Batch Normalization 大法自 2015 年由Google ...
【卷积神经网络CNN 实战案例 GoogleNet 实现手写数字识别源码详解深度学习 Pytorch笔记 B站刘二大人（9.5/10）】
卷积神经网络CNN 实战案例 GoogleNet 实现手写数字识别源码详解深度学习 Pytorch笔记 B站刘二大人 (9.5/10) 在上一章已经完成了卷积神经网络的结构分析,并通过各个模块理解 ...
斯坦福CS231n 2017最新课程：李飞飞详解深度学习的框架实现与对比
斯坦福CS231n 2017最新课程:李飞飞详解深度学习的框架实现与对比 By ZhuZhiboSmith2017年6月19日 13:37 斯坦福大学的课程 CS231n (Convolutio ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（三）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记深度学习Attenion小综述系列: 四万字全面详解 | 深度学习中的注意力机制(一) 四万字全面详解 | 深度学习中的 ...

详解深度学习之经典网络架构（十）：九大框架汇总

0、概览

1、个人心得

2、总结

详解深度学习之经典网络架构（十）：九大框架汇总相关推荐

最新文章

热门文章