前言

深度学习之所以被称为"深度"，是相对支持向量机(supportvector machine, SVM)、提升方法(boosting)、最大熵方法等"浅层学习"方法而言的，深度学习所学得的模型中，非线性操作的层级数更多。

浅层学习依靠人工经验抽取样本特征，网络模型学习后获得的是没有层次结构的单层特征；而深度学习通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，从而更有利于分类或特征的可视化。深度学习理论的另外一个理论动机是：如果一个函数可用k层结构以简洁的形式表达，那么用k-1层的结构表达则可能需要指数级数量的参数(相对于输入信号)，且泛化能力不足。

提示：以下是本篇文章正文内容，下面案例可供参考

一、加深

加深网络的优点

更好的拟合特征：深度学习网络结构的主要模块是卷积，池化，激活，这是一个标准的非线性变换模块。更深的模型，意味着更好的非线性表达能力，可以学习更加复杂的变换，从而可以拟合更加复杂的特征输入。
网络更深，每一层要做的事情也更加简单：第一层学习到了边缘，第二层学习到了简单的形状，第三层开始学习到了目标的形状，更深的网络层能学习到更加复杂的表达。如果只有一层，那就意味着要学习的变换非常的复杂，这很难做到。

加深的问题：

加深带来的优化问题：ResNet为什么这么成功，就是因为它使得深层神经网络的训练成为可行。虽然好的初始化，BN层等技术也有助于更深层网络的训练，但是很少能突破30层。深层网络带来的梯度不稳定，网络退化的问题始终都是存在的，可以缓解，没法消除。这就有可能出现网络加深，性能反而开始下降。
网络加深带来的饱和，再深也没有了。
模型加深还可能出现的一些问题是导致某些浅层的学习能力下降，限制了深层网络的学习，这也是跳层连接等结构能够发挥作用的很重要的因素。

二、加宽

加深网络的优点：

网络更深带来的一个非常大的好处，就是逐层的抽象，不断精炼提取知识，宽度就起到了另外一个作用，那就是让每一层学习到更加丰富的特征，比如不同方向，不同频率的纹理特征。太窄的网络，每一层能捕获的模式有限，此时网络再深都不可能提取到足够的信息往下层传递。

宽度问题：

就算一个网络越宽越好，我们也希望效率越高越好，因为宽度带来的计算量是成平方数增长的。我们知道对于一个模型来说，浅层的特征非常重要，因此网络浅层的宽度是一个非常敏感的系数。

Mobilenet研究了网络的宽度对性能的影响，通过一个乘因子来对每一层的宽度进行缩放，它们试验了1, 0.75, 0.5和0.25共4个值。

神经网络加深和加宽的影响相关推荐

ICML2020 | 神经网络的图结构如何影响其预测性能?
作者 | 董靖鑫审稿 | 程玉今天给大家介绍的是来自斯坦福大学的Jure Leskovec课题组发表在ICML2020上的文章" Graph Structure of Neural Ne ...
池化层对神经网络的运算速度有什么影响
虽然加入池化层是为了使网络获得抗扭曲,抗拉伸的特性并不完全是为了计算效率考虑,但加入池化层到底对计算速度有什么影响?这里设计了两个网络做对比, 其中一个是有2个卷积层,2层全连接层的神经网络,另一个是 ...
斯坦福神经网络神经元对特征提取的影响JS演示
https://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html
卷积神经网络超详细介绍
文章目录 1.卷积神经网络的概念 2. 发展过程 3.如何利用CNN实现图像识别的任务 4.CNN的特征 5.CNN的求解 6.卷积神经网络注意事项 7.CNN发展综合介绍 8.LeNet-5结构分析 ...
神经网络论文研究-图像处理方向4-geoglenet
该篇论文的亮点提出了名为incept的卷积神经网络结构效果:ILSVRC-2014分类和检测任务巅峰加深和加宽了网络结构更好地利用了网络结构内的计算资源,计算效率提升显著基于赫布原则和多尺度 ...
卷积神经网络超详细介绍（转载）
卷积神经网络超详细介绍文章目录 1.卷积神经网络的概念 2. 发展过程 3.如何利用CNN实现图像识别的任务 4.CNN的特征 5.CNN的求解 6.卷积神经网络注意事项 7.CNN发展综合介绍 8 ...
深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读
导言从1989年LeCun提出第一个真正意义上的卷积神经网络到今天为止,它已经走过了29个年头.自2012年AlexNet网络出现之后,最近6年以来,卷积神经网络得到了急速发展,在很多问题上取得了当 ...
【综述】一文读懂卷积神经网络(CNN)
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习 ...
图卷积神经网络_深度层次化图卷积神经网络
来源:IJCAI 2019 论文地址:https://arxiv.org/abs/1902.06667 代码地址:https://github.com/CRIPAC-DIG/H-GCN Introdu ...

神经网络加深和加宽的影响

前言

一、加深

加深的问题：

二、加宽

宽度问题：

神经网络加深和加宽的影响相关推荐

最新文章

热门文章