全连接网络和卷积神经网络

全连接神经网络：

不适合做图像识别原因：

参数数量太多

考虑一个输入1000*1000像素的图片，输入层有1000*1000=100万节点。假设第一个隐藏层有100个节点，那么仅这一层就有(1000*1000+1)*100=1亿参数，这实在是太多了！我们看到图像只扩大一点，参数数量就会多很多，因此它的扩展性很差。

没有利用像素之间的位置信息

对于图像识别任务来说，每个像素和其周围像素的联系是比较紧密的，和离得很远的像素的联系可能就很小了。如果一个神经元和上一层所有神经元相连，那么就相当于对于一个像素来说，把图像的所有像素都等同看待，这不符合前面的假设。当我们完成每个连接权重的学习之后，最终可能会发现，有大量的权重，它们的值都是很小的。努力学习大量并不重要的权重，这样的学习必将是非常低效的。

网络层数限制

我们知道网络层数越多其表达能力越强，但是通过梯度下降方法训练深度全连接神经网络很困难，因为全连接神经网络的梯度很难传递超过3层。因此，我们不可能得到一个很深的全连接神经网络，也就限制了它的能力。

卷积神经网络：

适合做图像识别：

局部连接

每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连。这样就减少了很多参数。

权值共享

一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，这样又减少了很多参数。

下采样

可以使用Pooling来减少每层的样本数，进一步减少参数数量，同时还可以提升模型的鲁棒性。

对于图像识别任务来说，卷积神经网络通过尽可能保留重要的参数，去掉大量不重要的参数，来达到更好的学习效果。

全连接网络和卷积神经网络相关推荐

全连接网络和卷积神经网络对比分析
全连接神经网络: 不适合做图像识别原因: 参数数量太多考虑一个输入1000*1000像素的图片,输入层有1000*1000=100万节点.假设第一个隐藏层有100个节点,那么仅这一层就有(1000* ...
独家 | 一文带你上手卷积神经网络实战（附数据集学习资料）
原文标题:Understanding deep Convolutional Neural Networks with a practical use-case in Tensorflow and Ke ...
深度学习入门之PyTorch学习笔记：卷积神经网络
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 4 卷积神经网络 4.1 主要任务及起源 4.2 卷积神经网络的原理和结构 4.2.1 卷积层 1. ...
卷积神经网络通俗解读
转载自:https://blog.csdn.net/dong_lxkm/article/details/80575207 一.前言最近一直在研究深度学习,联想起之前所学,感叹数学是一门朴素而神奇的科 ...
【深度学习理论】(2) 卷积神经网络
各位同学好,最近学习了CS231N斯坦福计算机视觉公开课,讲的太精彩了,和大家分享一下. 如下图所示,现在有shape为 32x32x3 的图像,如果使用全连神经网络,将图像拉长成一个一维向量 [No ...
大话卷积神经网络CNN，小白也能看懂的深度学习算法教程，全程干货建议收藏！...
来源 | 程序员管小亮本文创作的主要目的,是对时下最火最流行的深度学习算法的基础知识做一个简介,作者看过许多教程,感觉对小白不是特别友好,尤其是在踩过好多坑之后,于是便有了写这篇文章的想法. 由于文 ...
从LeNet到GoogLeNet：逐层详解，看卷积神经网络的进化
「免费学习 60+ 节公开课:投票页面,点击讲师头像」作者 | MrCharles 来源 | CSDN原力计划获奖作品 (*点击阅读原文,查看作者更多文章) 前言深度学习的兴起使卷积神经网络在计算 ...
深度概览卷积神经网络全景图，没有比这更全的了
翻译 | 林椿眄编辑 | Just 出品 | AI科技大本营(公众号ID:rgznai100) [AI科技大本营导读]深度卷积神经网络是这一波 AI 浪潮背后的大功臣.虽然很多人可能都已经听说过这个 ...
【深度学习基础】一步一步讲解卷积神经网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送本文转自:一步一步讲解卷积神经网络卷积神经网络(Convoluti ...

全连接网络和卷积神经网络

卷积神经网络：

全连接网络和卷积神经网络相关推荐

最新文章

热门文章