一、卷积神经网络基本概念

卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元相连接。在CNN的一个卷积层中，通常包含若干个特征平面，每个特征平面都由一些矩形排列的神经元组成，同一特征平面的神经元共享权重参数，这里共享的权重参数就是卷积核。
卷积核一般由随机小数矩阵的形式初始化，随着神经网络的不断训练，卷积核将会学习到更合理的权值。共享权值（卷积核）可以减少网络各层之间的连接，同时降低过拟合的风险。
子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一个特殊的卷积过程。卷积和子采样可以简化模型的复杂度，减少模型的参数。

二、卷积神经网络原理

2.1神经网络

神经网络的每个单元如下：

其对应的公式为：

该单元也可以被称作Logistic回归模型。当多个单元组合起来并具有分层结构时，就形成了神经网络模型。下图是一个具有隐含层的神经网络：

其对应的公式为：

同时，我们可以拓展到有2，3，4，5，…个隐含层。
神经网络的训练方法也与Logistic类似，可以利用梯度下降+链式求导法则，又称反向传播算法。

2.2卷积神经网络

卷积神经网络由三部分组成：输入层、由n个卷积层和池化层的组合组成、全连结的多层感知机分类器。
2.2.1局部感受野
卷积神经网络通过局部感受野来降低参数数目。在图像中，距离较远的像素相关性较弱，因此每个神经元没必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部信息综合起来，得到全局信息。
假设每个神经元只与1010的像素值相连，那么权值数据就为1000000100个参数，减少为原来的万分之一。1010的像素值对应的1010个参数就相当于卷积操作。
2.2.2权值共享
使用了局部感受野后参数仍然过多，那么就要使用权值共享。在上面的局部连接中，每个神经元都对应100个参数，如果所有神经元对应的参数都是相等的，那么参数数目就是100。
我们将这100个参数看作特征提取的方式，这个方式与位置无关。因此，图像的一部分统计特性和其他部分是一样的，所以我们在这一部分上学习的特征，也可以应用在其他部分。
比如，我们在一个大尺寸图像中，随机选择一小块，比如44作为样本，我们从小样本中学习到了一些特征，我们就可以把这些特征作为探测器，应用到全部的图像中。特别的，我们可以把这个样本中学习到的特征与原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任意位置获得一个不同特征的激活值。
2.2.3多卷积核
在上面的叙述中，我们知道，如果有100个参数，则表示有一个1010的卷积核，这样做的特征提取是不充分的，我们可以添加多个卷积核，比如32个卷积核，那就可以学习32个特征。如果我们对四个通道进行卷积操作，有两个卷积核，会生成两个通道。需要注意的是，四个通道上每个通道都对应一个卷积核，如果将w2忽略，只看w1，那么在w1的某位置（i,j）处的值，是由四个通道上（i.j）处的卷积结果相加，再取激活函数的值得到的。

在上图的4个通道卷积得到2个通道的过程中，参数数目为4222个，其中4是4个通道，第一个2表示生成2个通道，最后的22是卷积核的大小。
2.2.4Down-pooling
在卷积得到了特征后，我们可以用这些特征去做分类。如果我们用所有提取到的特征去训练分类器，如softmax分类器，就会面临很大的计算量。比如，对于一个9696像素的图像，假设我们已经学习得到了400个定义在88输入上的特征，每一个特征和图像卷积都会得到一个（96-8+1）（96-8+1）=7921维的卷积特征，由因为有400个特征，所以每个样例都会有7921400=3168400维的卷积特征向量。所以学习一个拥有三百万特征的输入分类器非常不容易，容易出现过拟合。
因此，为了描述比较大的图像，我们可以对不同位置的特征进行聚合统计，比如，我们可以计算图像一个区域上的某个特定特征的平均值（或最大值）。这些概要统计特征不仅具有低得多的维度（不需使用所有提取到的特征），同时还会改善结果。这种聚合操作就叫做池化，按照池化的方法可以分为平均池化和最大池化。

如上图：
1.最大值子采样卷积核中，只有一个权重值为1，其余为0；值为1的位置对应的inputX被卷积核覆盖部分值最大的位置。图示的卷积核滑动步长为2.最大子采样效果是把原图缩减至原来的1/4，并保留每个2*2区域的最大输入。
2.均值子采样的卷积核中，每个权重都是相同的。上图的均值子采样是把原图模糊缩减至原来的1/4。
2.2.5多卷积层
实际应用中，一般使用多层卷积，然后用全连接层训练，一层卷积学到的特征一般是局部的，层数越高，学到的特征越全局化。

参考链接：https://blog.csdn.net/yunpiao123456/article/details/52437794?spm=1001.2014.3001.5506

卷积神经网络（CNN）基本概念相关推荐

[人工智能-深度学习-33]：卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
卷积神经网络(CNN)概念解释
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:opencv学堂传统对象识别-模式识别传统的模式识别 ...
卷积神经网络(CNN,ConvNet)
卷积神经网络(CNN,ConvNet) 卷积神经网络(CNN,有时被称为 ConvNet)是很吸引人的.在短时间内,变成了一种颠覆性的技术,打破了从文本.视频到语音等多个领域所有最先进的算法,远远超出 ...
卷积神经网络(CNN)简介
卷积神经网络(CNN)简介多层的线性网络和单层的线性网络没有区别,而且线性模型的能够解决的问题也是有限的 1. 更复杂抽象的数据一个单隐含层有更多的神经元,就能捕捉更多的特征.而且有更多隐层,意味 ...
python卷积神经网络cnn的训练算法_【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理...
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可 ...
卷积神经网络(CNN)及其实践
卷积神经网络(CNN)及其实践一.CNN 的基础概念先行 1.1 CNN 的基本结构简介 1.2.认识卷积 1.3.CNN 中的卷积层 1.4.CNN 中的池化层二.在 TensorFlow 中使 ...
卷积神经网络(CNN)介绍与实践
七月上海 | 高性能计算之GPU CUDA培训 7月27-29日三天密集式学习快速带你入门阅读全文> 正文共4499个字,26张图,预计阅读时间18分钟. CNN的前世今世 1.1.大脑 ...
深度学习之卷积神经网络CNN
转自:https://blog.csdn.net/cxmscb/article/details/71023576 一.CNN的引入在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连 ...
【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理(1)
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可 ...
水很深的深度学习（四）——卷积神经网络CNN
参考资料: 1.水很深的深度学习-CNN 2.卷积神经网络超详细介绍_呆呆的猫的博客-CSDN博客_卷积神经网络 3.大话卷积神经网络CNN(干货满满)-CSDN博客卷积神经网络的概念计算机视觉和 ...

卷积神经网络（CNN）基本概念

一、卷积神经网络基本概念

二、卷积神经网络原理

2.1神经网络

2.2卷积神经网络

卷积神经网络（CNN）基本概念相关推荐

最新文章

热门文章