经典网络结构分析：卷积神经网络的现代雏形 ---LeNet

卷积神经网络是受到视觉神经系统的神经机制启发而提出的模型，其核心思想在于局部感受野和权值共享。98年lecun等人将卷积层与池化层相结合，建立卷积网络的现代雏形---LeNet.曾被应用于手写数字识别。原始的LeNet主要特点是将卷积层和下采样层相结合作为网络的基本结构，其包含3个卷积层和2个下采样层。

在LeNet的原始模型中，输入是一个矩阵或图像，大小为32×32.如果不计输入层，那么这个模型共有7层，包含3个卷积层、2个下采样层、一个全链接层和一个输出层。结构如下：

C1层是第一个卷积层

输入图片：32*32

卷积核大小：5*5

卷积核种类：6

输出特征图：6个28*28（32-5+1）

神经元数量：28*28*6

可训练参数：（5*5+1）*6

S2是第一个下采样层

输入图片：6个28*28

采样区域：2*2

采样方式：步长为2的窗口进行平均池化，然后再利用激活函数sigmoid进行一次非线性变换处理得到。

输出特征图：6个14*14（28/2）

神经元的数量：14*14*6

可训练参数：2*6

下采样的目的是利用局部相关性减少后续数据处理量，同时保留有用信息。与C1层的卷积特征图相比，S2层的下采样特征图整体上缩小为原来的1/4，行列各缩小为原来的1/2.

C3层第2层卷积层

输入：14*14

卷积核大小：5*5

卷积核种类：16

输出特征图：16个10*10

C3中的每一个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合。

存在的一个方式是：C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。则：可训练参数：6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516

S4层是一个下采样层

输入：10*10

采样区域：2*2

采样方式：同S2

采样种类：16

输出特征：16个5*5

训练参数：2*16=32

C5层是第3个参数

输入：16个5*5

卷积核大小：5*5

卷积核种类：120

输出特征：120*1*1

可训练参数：120*（16*5*5+1）=48120

F6层全连接层

输入：120维向量

计算方式：计算输入向量和权重之间的点积，再加上一个偏置，结果通过sigmoid函数

可训练参数：84*（120+1）=10164

输出层

同6，输出特征10

经典网络结构分析：卷积神经网络的现代雏形 ---LeNet相关推荐

PyTorch之LeNet-5：利用PyTorch实现最经典的LeNet-5卷积神经网络对手写数字图片识别CNN
PyTorch之LeNet-5:利用PyTorch实现最经典的LeNet-5卷积神经网络对手写数字图片识别CNN 目录训练过程代码设计训练过程代码设计 #PyTorch:利用PyTorch实现 ...
卷积网络和卷积神经网络_卷积神经网络的眼病识别
卷积网络和卷积神经网络关于这个项目 (About this project) This project is part of the Algorithms for Massive Data cour ...
不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络！
文章转载自订阅号「夕小瑶的卖萌屋」中的文章<不要再纠结卷积的公式啦!0公式深度解析全连接前馈网络与卷积神经网络>. Hello~你们的小夕终于吐泡泡了-前几天小夕又加班赶project啦, ...
基于粒子群算法的微电网优化调度应用研究（三、长短期记忆网络和卷积神经网络预测模型）
长短期记忆网络和卷积神经网络预测模型 3.1 预测概述在微电网中,由于系统的电源种类多,间隙性发电占比大.运行经济性要求高等特点,分布式电源需要应用能量管理系统.新能源随机调度问题的关键技术是通过分 ...
卷积网络和卷积神经网络_CNTK-卷积神经网络
卷积网络和卷积神经网络 CNTK-卷积神经网络 (CNTK - Convolutional Neural Network) In this chapter, let us study how to c ...
【卷积神经网络-进化史】从LeNet到AlexNet
[卷积神经网络-进化史]从LeNet到AlexNet 本博客是[卷积神经网络-进化史]的第一部分<从LeNet到AlexNet> 如需转载,请附上本文链接:http://blog.csdn ...
机器学习——深度学习之卷积神经网络（CNN）——LeNet卷积神经网络结构
目录一.卷积神经网络 1.卷积神经的作用 2.LeNet 1)数据库准备--minst 2)模型· 二.关于卷积神经网络结构的一些术语定义 1.特征图(Feature map) 2.height(长 ...
《图像分类》概述，李飞飞经典CS231N2021《卷积神经网络视觉识别》课程第二讲！...
来源:专知本文多图,建议阅读5分钟本文深入探讨了基于神经网络的计算机视觉深度学习方法的细节. [导读 ]李飞飞老师的CS231N课程<卷积神经网络视觉识别>被奉为经典,最新2021季已经于 ...
卷积神经网络mnist手写数字识别代码_搭建经典LeNet5 CNN卷积神经网络对Mnist手写数字数据识别实例与注释讲解，准确率达到97%...
LeNet-5卷积神经网络是最经典的卷积网络之一,这篇文章就在LeNet-5的基础上加入了一些tensorflow的有趣函数,对LeNet-5做了改动,也是对一些tf函数的实例化笔记吧. 环境 Pyc ...
收藏 | 李飞飞经典CS231N《卷积神经网络视觉识别》第十一讲！
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:专知 AI博士笔记系列推荐周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 [导读 ...

经典网络结构分析：卷积神经网络的现代雏形 ---LeNet

经典网络结构分析：卷积神经网络的现代雏形 ---LeNet相关推荐

最新文章

热门文章