CNN

本文转载博客：http://blog.csdn.net/zhongkeli/article/details/51854619

cnn每一层会输出多个feature map, 每个Feature Map通过一种卷积滤波器提取输入的一种特征，每个feature map由多个神经元组成，假如某个feature map的shape是m*n, 则该feature map有m*n个神经元。对于卷积层会有kernel, 记录上一层的feature map与当前层的卷积核的权重,因此kernel的shape为(上一层feature map的个数，当前层的卷积核数)。本文默认子采样过程是没有重叠的，卷积过程是每次移动一个像素，即是有重叠的。默认子采样层没有权重和偏置。关于CNN的其它描述不在这里论述，可以参考一下参考文献。只关注如何训练CNN。

CNN网络结构

一种典型卷积网络结构是LeNet-5，用来识别数字的卷积网络。结构图如下（来自Yann LeCun的论文）：

在卷积神经网络算法的一个实现文章中，有一个更好看的图:

该图的输入是一张28*28大小的图像，在C1层有6个5＊5的卷积核，因为C1层输出6个(28-5+1)(28-5+1)大小的feature map。然后经过子采样层，这里假设子采样层是对卷积层的均值处理(mean pooling), 其实一般还会有加偏置和激活的操作，为了简化，省略了这两步，只是对卷积层进行一个采样的操作。因此S2层输出的6个feature map大小为(24/2)(24/2).在卷积层C3中，它的输入是6个feature map，与C1不一样（C1只有一个feature map，如果是RGB的话，C1会有三个channel）。C3层有12个5＊5卷积核，每个卷积核会与上一层的6个feature map分别做卷积（事实上，一般是选择几种输入feature map来做卷积，而不是全部的feature map），然后对这6个卷积结果求和组成一个新的feature map，即该层会有12个大小为(12-5+1)*(12-5+1)的feature map，这个feature map是经过sigmod 函数处理然后结果下一层S4。

图片来源
同理，S4层有12个(与卷积层的feature map数一致)大小为(8/2)*(8/2)的feature map。输出层把S4层的feature mapflatten一个向量，向量长度为12*4*4=192,以该向量作为输入，与下面的其它层全连接，进行分类等操作，也就是说把一张图片变成一个向量，接入到别的网络，如传统的BP神经网络，不过从整体来看，CNN可以看做是一个BP神经网络。在这里有两张很生动的图来描述这个过程:

权值共享理解

从代码的实现来看，每个卷积核会与部分或全部的输入(上一层输出)feature map进行卷积求和，但是每个卷积核的权重与一个feature map是一一对应，如上一章节中的C3-S4,说是有12个卷积核，然后就有12个输出feature map，但是每个卷积核与输入的6个feature map的权重都是不一样，即kernel不一样，也就是说每个卷积核的权重与一个feature map是一一对应。至于权值共享的话，对于同一个输入的feature map的神经元patch，用的是同一个卷积核权重，这个是共享的，只在同feature map共享，不在跨feature map共享，只是个人理解，有可能有错，if wrong please correct me.

CNN 卷积神经网络结构转载相关推荐

深度学习 | MATLAB实现CNN卷积神经网络结构及参数概述
深度学习 | MATLAB实现CNN卷积神经网络结构及参数概述目录深度学习 | MATLAB实现CNN卷积神经网络结构及参数概述基本介绍模型描述训练过程计算函数参考资料基本介绍卷积神 ...
CNN 卷积神经网络结构
CNN cnn每一层会输出多个feature map, 每个Feature Map通过一种卷积滤波器提取输入的一种特征,每个feature map由多个神经元组成,假如某个feature map的sh ...
CNN卷积神经网络结构及参数配置
来源:机器学习算法与自然语言处理作者:白雪峰转载于:https://blog.csdn.net/np4rHI455vg29y2/article/details/78958121 1.CNN例子 Y ...
CNN卷积神经网络结构遐思
残缺的神经网络卷积神经网络,是神经网络的子集,是残缺的神经网络. [a00a01a02a10a11a12a20a21a22]⊙[b00b01b10b11]=[c00c01c10c11]\left[\ ...
CNN卷积神经网络结构
卷积神经网络通常是由四部分组成:输入层.卷积层.下采样层.全连接层和输出层.典型的卷积神经网络中,开始的几层一般是卷积层和下采样层交替出现,靠近输出层的最后几层通常是全连接层,其结构如图2-4所示.一 ...
卷积神经网络结构图分析,卷积神经网络结构图片
如何用visio画卷积神经网络图.图形类似下图所示 . 大概试了一下用visio绘制这个图,除了最左面的变形图片外其余基本可以实现(那个图可以考虑用其它图像处理软件比如Photoshop生成后插入vi ...
机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构
目录一.AlexNet卷积神经网络结构模型 1.数据库ImageNet 2.AlexNet第一层卷积层二.AlexNet卷积神经网络的改进 1.非线性变化函数的改变--ReLU 2.最大池化(Ma ...
机器学习——深度学习之卷积神经网络（CNN）——LeNet卷积神经网络结构
目录一.卷积神经网络 1.卷积神经的作用 2.LeNet 1)数据库准备--minst 2)模型· 二.关于卷积神经网络结构的一些术语定义 1.特征图(Feature map) 2.height(长 ...
深度学习--TensorFlow（8）CNN卷积神经网络理论（计算机视觉）
目录计算机视觉介绍 1.计算机视觉应用 2.计算机视觉技术图像分类目标检测目标跟踪语义分割实例分割 BP神经网络的缺点一.卷积神经网络简介 1.卷积 2.全连接与局部感受野 3.权值共享 ...
【卷积神经网络结构专题】一文详解LeNet（附代码实现）
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 近期,公众号将推出卷积神经网络结构系列专题文章,将深入浅出的为大家介绍从1998年 ...

CNN 卷积神经网络结构转载

CNN

CNN网络结构

权值共享理解

CNN 卷积神经网络结构转载相关推荐

最新文章

热门文章