全连接网络和卷积神经网络对比分析

全连接神经网络：

不适合做图像识别原因：

参数数量太多

考虑一个输入1000*1000像素的图片，输入层有1000*1000=100万节点。假设第一个隐藏层有100个节点，那么仅这一层就有(1000*1000+1)*100=1亿参数，这实在是太多了！我们看到图像只扩大一点，参数数量就会多很多，因此它的扩展性很差。

没有利用像素之间的位置信息

对于图像识别任务来说，每个像素和其周围像素的联系是比较紧密的，和离得很远的像素的联系可能就很小了。如果一个神经元和上一层所有神经元相连，那么就相当于对于一个像素来说，把图像的所有像素都等同看待，这不符合前面的假设。当我们完成每个连接权重的学习之后，最终可能会发现，有大量的权重，它们的值都是很小的。努力学习大量并不重要的权重，这样的学习必将是非常低效的。

网络层数限制

我们知道网络层数越多其表达能力越强，但是通过梯度下降方法训练深度全连接神经网络很困难，因为全连接神经网络的梯度很难传递超过3层。因此，我们不可能得到一个很深的全连接神经网络，也就限制了它的能力。

卷积神经网络：

适合做图像识别：

局部连接

每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连。这样就减少了很多参数。

权值共享

一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，这样又减少了很多参数。

下采样

可以使用Pooling来减少每层的样本数，进一步减少参数数量，同时还可以提升模型的鲁棒性。

对于图像识别任务来说，卷积神经网络通过尽可能保留重要的参数，去掉大量不重要的参数，来达到更好的学习效果。

            </div>

全连接网络和卷积神经网络对比分析相关推荐

机器学习（一）——BP、RBF（径向基）、GRNN（广义回归）、PNN（概率）神经网络对比分析（附程序、数据）
对比分析了几种常见的神经网络<BP.RBF(径向基).GRNN(广义回归).PNN(概率)>,并在文末附代码,想要训练测试数据可以QQ2859340499. 1. BP神经网络: BP神经 ...
卷积神经网络架构不包含,卷积神经网络架构分析
卷积神经网络结构基本单元层有哪些? . 输入层:输出特征矩阵卷积层:进行卷积运算池化层:进行pooling缩小维度中间激活层:可有可无,一般为ReLU类的计算简单的激活函数对特征值修正这里卷积层.池化 ...
卷积神经网络结构图分析,卷积神经网络结构图片
如何用visio画卷积神经网络图.图形类似下图所示 . 大概试了一下用visio绘制这个图,除了最左面的变形图片外其余基本可以实现(那个图可以考虑用其它图像处理软件比如Photoshop生成后插入vi ...
全连接网络和卷积神经网络
全连接神经网络: 不适合做图像识别原因: 参数数量太多考虑一个输入1000*1000像素的图片,输入层有1000*1000=100万节点.假设第一个隐藏层有100个节点,那么仅这一层就有(1000* ...
机器学习（三）——支持向量机（神经网络对比分析）
针对支持向量机和神经网络问题参考了多方面资料,整合如下: 支持向量机的概念: 在统计学习理论中发展起来的支持向量机(Support Vector Machines, SVM)方法是一种新的通用学习方法 ...
独家 | 一文带你上手卷积神经网络实战（附数据集学习资料）
原文标题:Understanding deep Convolutional Neural Networks with a practical use-case in Tensorflow and Ke ...
深度学习入门之PyTorch学习笔记：卷积神经网络
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 4 卷积神经网络 4.1 主要任务及起源 4.2 卷积神经网络的原理和结构 4.2.1 卷积层 1. ...
基于cnn的人脸识别_基于卷积神经网络(CNN）的人脸在线识别系统
微信搜索"AI大道理",选择"置顶"公众号重磅干货,深入讲解AI大道理 ------ 本设计研究人脸识别技术,基于卷积神经网络构建了一套人脸在线检测识别系统, ...
YJango的卷积神经网络——介绍
YJango的卷积神经网络--介绍本文作者:雷锋专栏 2017-07-04 17:16 导语:这里对卷积神经网络的讲解主要是以不同的思考侧重展开,通过对卷积神经网络的分析,进一步理解神经网络变体中& ...

全连接网络和卷积神经网络对比分析

卷积神经网络：

全连接网络和卷积神经网络对比分析相关推荐

最新文章

热门文章