神经网络的深度、宽度和分辨率

（知识的搬运工.jpg）
深度——神经网络的层数
宽度——每层的通道数
分辨率——是指网络中特征图的分辨率

深度和宽度是深度神经网络的两个基本维度，分辨率不仅取决于网络，也与输入图片的尺寸有关。

对于深度和宽度，以及他们对网络性能的影响，这篇博客有介绍：
深度学习网络的宽度和深度怎么理解，增加宽度和深度对网络模型有什么影响？
简单总结就是：
1.更深的网络，有更好的非线性表达能力，可以学习更复杂的变换，从而可以拟合更加复杂的特征，更深的网络可以更简单地学习复杂特征。
网络加深会带来梯度不稳定、网络退化的问题，过深的网络会使浅层学习能力下降。深度到了一定程度，性能就不会提升了，还有可能会下降。
2.足够的宽度可以保证每一层都学到丰富的特征，比如不同方向，不同频率的纹理特征。宽度太窄，特征提取不充分，学习不到足够信息，模型性能受限。
宽度贡献了网络大量计算量，太宽的网络会提取过多重复特征，加大模型计算负担。
3.提升网络性能可以先从宽度入手，提高每一层的通道的利用率、用其他通道的信息补充较窄的层，找到宽度的下限，用尽量小的计算量得到更好的性能。

对于网络的分辨率，这篇文章提出了一个高分辨率网络，用来替代视觉识别问题中对空间精度不够敏感的分类网络：
CVPR 2019 | 告别低分辨率网络，微软提出高分辨率深度神经网络HRNet

神经网络的深度、宽度和分辨率相关推荐

超越EfficientNet！MutualNet：一种自适应相互学习网络宽度和分辨率的网络
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]今天给大家介绍一篇 ECCV 2020 Oral论文 ,该论文强调了同时考虑网络宽度和 ...
深度学习超分辨率综述阅读笔记（翻译）
深度学习超分辨率综述阅读笔记(翻译) https://arxiv.org/abs/1902.06068 摘要:图像超分辨率(SR)是计算机视觉中增强图像和视频分辨率的一类重要图像处理技术.近几年来,图 ...
什么是深度学习？45分钟理解深度神经网络和深度学习刘利刚教授
什么是深度学习? - 45分钟理解深度神经网络和深度学习刘利刚中国科学技术大学图形与几何计算实验室 http://staff.ustc.edu.cn/~lgliu [绪言] 近年来,人工智能(Ar ...
ann人工神经网络_深度学习-人工神经网络（ANN）
ann人工神经网络 Building your first neural network in less than 30 lines of code. 用不到30行代码构建您的第一个神经网络. 1.W ...
AI学习笔记（九）从零开始训练神经网络、深度学习开源框架
AI学习笔记之从零开始训练神经网络.深度学习开源框架从零开始训练神经网络构建网络的基本框架启动训练网络并测试数据深度学习开源框架深度学习框架组件--张量组件--基于张量的各种操作组件- ...
吴恩达神经网络和深度学习-学习笔记-30-相关符号和计算+单层卷积网络+简单卷积网络示例
卷积相关的符号和计算单层卷积网络首先执行线性函数,然后所有元素相乘做卷积. 具体做法是运用线性函数,再加上偏差,然后应用激活函数Relu. 也即是说,通过神经网络的一层,把一个6×6×3维度的a[ ...
《神经网络与深度学习》—学习笔记
[nndl.github.io] [神经网络与深度学习] [nndl-book] 深度学习基础深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法. 深度学习问题是一个机器学习问题,指从 ...
【神经网络与深度学习】CIFAR10数据集介绍，并使用卷积神经网络训练图像分类模型——[附完整训练代码]
[神经网络与深度学习]CIFAR-10数据集介绍,并使用卷积神经网络训练模型--[附完整代码] 一.CIFAR-10数据集介绍 1.1 CIFAR-10数据集的内容 1.2 CIFAR-10数据集的结 ...
2小时入门神经网络与深度学习
入门神经网络与深度学习 [唐宇迪带你学AI]2个小时快速入门神经网络与深度学习是什么感受? 人工神经网络就是一个大黑箱,通过这个黑箱子就可以提取出比较好的特征. p1 深度学习,就是计算机去学习(提取 ...

神经网络的深度、宽度和分辨率

神经网络的深度、宽度和分辨率相关推荐

最新文章

热门文章