TensorFlow学习－－LeNet5神经网络
LeNet5神经网络
简介
LeNet5由Yann LeCun于1994年提出，模型结构如图：
在模型中，每个卷积层包含三个部分：卷积/池化/非线性激活函数．并采用MLP作为分类器．同时层与层的稀疏连接减少了计算的复杂度．
网络结构
LeNet5神经网络结构：
- C1：卷积层
输入为32*32的单通道图像，使用6个5*5大小的卷积核进行卷积，得到6个feature map．feature map大小为（32+1-5）*（32+1-5）＝28*28（步长为1）．
如图，3*3大小的卷积核对7*7大小的图像卷积后的图像大小为（7+1-3）*（7+1-3）＝5*5
- S2：池化层
池化过程通常也称为特征映射过程，实现了特征降维．常用方法有平均池化和最大池化．这里采用filter大小为2*2，步长为2的池化过程对C1层的6个feature map进行池化，因此对应得到的6个feature map大小为（28/2）*（28/2）＝14*14．
如图使用2*2的filter，步长为2时分别采用两种平均池化和最大池化：
平均池化，即filter内元素求和取均值：
最大池化，即filter内元素求最大值：
- C3：卷积层
卷积核大小为5*5，因此卷积后得到的feature map大小为（14+1-5）*（14+1-5）＝10*10．C3层中采用了16个5*5的卷积核，每个卷积核只与S2层中的部分feature map连接，连接方式如图：
横向代表卷积核编号（0-15），纵向代表S2层中的6个feature map的编号（0-5）．如C3中的第0个feature map：卷积核0与S2中的第0/1/2个feature map 进行卷积（可看作是3维卷积）．这样得到16个10*10大小的feature map． - S4：池化层
与S2类似，同样采用2*2的单元．得到16个5*5大小的feature map. - C5：卷积层
120个大小为5*5的卷积核，每个都与S4中的所有feature map进行连接．得到的feature map大小为1*1．刚好形成全连接． - F6：全连接层
F6层有84个神经元，每个神经元与C5层的feature map进行全连接，得到一个84维的特征向量．然后用来做分类预测．
论文连接：Gradient-Based Learning Applied to Document Recognition
TensorFlow学习－－LeNet5神经网络相关推荐
- TensorFlow学习笔记——实现经典LeNet5模型
TensorFlow实现LeNet-5模型 文章目录 TensorFlow实现LeNet-5模型 前言 一.什么是TensorFlow? 计算图 Session 二.什么是LeNet-5? INPUT ...
- tensorflow学习笔记二——建立一个简单的神经网络拟合二次函数
tensorflow学习笔记二--建立一个简单的神经网络 2016-09-23 16:04 2973人阅读 评论(2) 收藏 举报 分类: tensorflow(4) 目录(?)[+] 本笔记目的 ...
- 【深度学习】Tensorflow搭建卷积神经网络实现情绪识别
[深度学习]Tensorflow搭建卷积神经网络实现情绪识别 文章目录 1 Tensorflow的基本使用方法1.1 计算图1.2 Feed1.3 Fetch1.4 其他解释 2 训练一个Tensor ...
- 【深度学习】我用 PyTorch 复现了 LeNet-5 神经网络（自定义数据集篇）！
在上三篇文章: 这可能是神经网络 LeNet-5 最详细的解释了! 我用 PyTorch 复现了 LeNet-5 神经网络(MNIST 手写数据集篇)! 我用 PyTorch 复现了 LeNet-5 ...
- TensorFlow学习（三）——神经网络进阶
TensorFlow学习(三)--神经网络进阶DNN 一.神经网络的进阶概念 激活函数 偏置项 损失函数 经典损失函数 交叉熵(cross entropy)损失函数--分类问题 示例展示 代码表示 代 ...
- 神经网络学习小记录2——利用tensorflow构建循环神经网络（RNN）
神经网络学习小记录2--利用tensorflow构建循环神经网络(RNN) 学习前言 RNN简介 tensorflow中RNN的相关函数 tf.nn.rnn_cell.BasicLSTMCell tf ...
- TensorFlow学习--函数逼近（RBF神经网络）
目录 主体代码参照: 1.RBF网络相关知识 知识概述 2.K-means聚类最优k值的选取 2.1手肘法:SSE(sum of the squared errors,误差平方和) 2.2 轮廓系数法 ...
- TensorFlow CNN卷积神经网络实现工况图分类识别（一）
1. Tensorflow知识点 1.1. 张量 在Tensorflow程序中,所有的数据都是通过张量的形式来表示.从功能的角度上看,张量可以简单的理解为多维数组. (1)占位符Placeholder ...
- 【干货】史上最全的Tensorflow学习资源汇总，速藏！
一 .Tensorflow教程资源: 1)适合初学者的Tensorflow教程和代码示例:(https://github.com/aymericdamien/TensorFlow-Examples)该 ...
最新文章
- 一文学懂Java泛型，详细而全面，值得收藏~
- 中国钢铁行业战略规划及项目建设动态分析报告2021-2027年
- css语言基础--css的选择符语法
- 数据集成--ETL工具
- 鸿蒙系统天气,墨迹天气携手鸿蒙系统 以精细化气象服务助力全场景生态建设...
- vue-property-decorator使用指南
- 问题 1066: 2004年秋浙江省计算机等级考试二级C 编程题(2)
- 剑指企业级云原生，阿里云 CNFS 如何破局容器持久化存储困境
- vue 父组件获取接口值传到子组件_vue父组件异步获取数据传给子组件的方法
- Fast Intro To Java Programming (2)
- 制造业ERP项目设计摘录
- 盛大易宝只是陈天桥的梦而已
- yy安全中心官网首页登录html,YY安全中心手机版
- 598. 范围求和 II【我亦无他唯手熟尔】
- 金融工程中的蒙特卡罗方法
- 关于X509证书和密钥的概念
- Android系统移植与调试之-------build.prop文件详细赏析
- jar构建docker镜像_将jar包打包为docker镜像
- python面向对象书籍_python面向对象法实现图书管理系统
- 支付宝快捷登录相关事宜