【深度学习】论网络深度的利弊

利

网络容量更大 -> 模型表达（抽象）能力更强

弊

不好收敛：

梯度问题 (弥散 / 爆炸) -> 收敛慢。

总结

深度神经网络就像一个数学公式。公式越复杂，最高项次数越高，能表达的模型就越复杂，覆盖的值域也就越广。
But，也越容易陷入过拟合，使得模型性能不增反降。
So，这是一个trade-off。

[1] 深层学习为何要“Deep”（上）
[2] 深层学习为何要“Deep”（下）

【深度学习】论网络深度的利弊相关推荐

《中国人工智能学会通讯》——第3章 3.1基于深度学习的网络表示研究进展
第3章 3.1基于深度学习的网络表示研究进展网络结构在现实世界中无处不在(如航线网络.通信网络.论文引用网络.世界万维网和社交网络等),在此基础之上的应用和研究问题受到了学术界和工业界的广泛关注,这 ...
pytorch | 深度学习分割网络U-net的pytorch模型实现
原文:https://blog.csdn.net/u014722627/article/details/60883185 pytorch | 深度学习分割网络U-net的pytorch模型实现这个是 ...
【深度学习】利用深度可分离卷积减小计算量及提升网络性能
[深度学习]利用深度可分离卷积减小计算量及提升网络性能文章目录 1 深度可分离卷积 2 一个深度可分离卷积层的代码示例(keras) 3 优势与创新3.1 Depthwise 过程3.2 Point ...
深度学习自组织映射网络 ——python实现SOM（用于聚类）
深度学习自组织映射网络 --python实现SOM(用于聚类) 摘要 python实现代码计算实例摘要 SOM(Self Organizing Maps ) 的目标是用低维目标空间的点来表示高维 ...
HALCON 21.11：深度学习笔记---网络和训练过程(4)
HALCON 21.11:深度学习笔记---网络和训练过程(4) HALCON 21.11.0.0中,实现了深度学习方法.关于网络和训练过程如下: 在深度学习中,任务是通过网络发送输入图像来执行的.整 ...
【网络流量识别】【深度学习】【三】CNN和LSTM—基于信息获取和深度学习的网络流量异常检测
本文是北京大学陆祥林等人,2019年四月发表于ICISDM的一篇文章,收录于ACM网站. 文章题目:基于信息获取和深度学习的网络流量异常检测原文网址:基于信息获取和深度学习的网络流量异常检测|201 ...
2020-4-22 深度学习笔记20 - 深度生成模型 5 (有向生成网络--sigmoid信念网络/可微生成器网络/变分自编码器VAE/生产对抗网络GAN/生成矩匹配网络)
第二十章深度生成模型 Deep Generative Models 中文英文 2020-4-17 深度学习笔记20 - 深度生成模型 1 (玻尔兹曼机,受限玻尔兹曼机RBM) 2020-4-18 ...
深度学习经典网络解析图像分类篇（二）：AlexNet
深度学习经典网络解析图像分类篇(二):AlexNet 1.背景介绍 2.ImageNet 3.AlexNet 3.1AlexNet简介 3.2AlexNet网络架构 3.2.1第一层(CONV1) 3 ...
深度学习——从网络威胁情报中收集TTPs
从网络威胁情报中收集TTPs 摘要为啥要用网络威胁情报被动防御 & 主动防御网络威胁情报的概念何为情报(Intelligence)? 何为网络威胁(Cyber Threat)? 何为网 ...
深度学习深度前馈网络_深度学习前馈网络中的讲义第4部分
深度学习深度前馈网络 FAU深度学习讲义 (FAU Lecture Notes in Deep Learning) These are the lecture notes for FAU's YouT ...

【深度学习】论网络深度的利弊

利

弊

总结

【深度学习】论网络深度的利弊相关推荐

最新文章

热门文章