[人工智能-深度学习-33]：卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120893764

第1章卷积神经网络基础

1.1 卷积神经发展与进化史

1.2 卷积神经网络的核心要素

1.3 卷积神经网络的描述方法

1.4 人工智能三巨头 + 华人圈名人

第2章 LeNet概述

第3章 LeNet-5网络结构分析

3.1 网络结构描述-垂直法

3.2 网络结构描述-厚度法

3.3 分层解读

3.4 分析结果示意

第1章卷积神经网络基础

1.1 卷积神经发展与进化史

AlexNet是深度学习的起点，后续各种深度学习的网络或算法，都是源于AlexNet网络。

[人工智能-深度学习-31]：卷积神经网络CNN - 常见卷积神经网络综合比较大全_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：第1章人工智能发展的3次浪潮1.1人工智能的发展报告2011-2020资料来源：清华大学、中国人工智能学会《人工智能的发展报告2011-2020》，赛迪研究院、人工智能产业创新联盟《人工智能实践录》，中金公司研究部► 第一次浪潮（1956-1974年）：AI思潮赋予机器逻辑推理能力。伴随着“人工智能”这一新兴概念的兴起，人们对AI的未来充满了想象，人工智能迎来第一次发展浪潮。这.https://blog.csdn.net/HiWangWenBing/article/details/120835303

1.2 卷积神经网络的核心要素

[人工智能-深度学习-27]：卷积神经网络CNN - 核心概念（卷积、滑动、填充、参数共享、通道）_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：目录第1章卷积中的“积”的定义第2章卷积中的“卷”的定义第3章填充第4章单个卷积核的输出第5章多个卷积核的输出第6章卷积对图形变换第7章池化层第8章全连接的dropout第1章卷积中的“积”的定义第2章卷积中的“卷”的定义stride：反映的每次移动的像素点的个数。第3章填充...https://blog.csdn.net/HiWangWenBing/article/details/120806277

1.3 卷积神经网络的描述方法

[人工智能-深度学习-28]：卷积神经网络CNN - 网络架构与描述方法_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：目录第1章什么是卷积神经网络第2章卷积神经网络的描述方法第3章卷积神经网络的本质第4章卷积神经网络的总体框框第5章卷积神经网络的发展与常见类型与分类第6章常见的卷积神经网络6.1 AlexNet6.2 VGGNet6.3 GoogleNet： inception结构6.4 google net6.5 ResNet第7章常见图形训练库第1.https://blog.csdn.net/HiWangWenBing/article/details/120806599

1.4 人工智能三巨头 + 华人圈名人

Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖。

杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton），计算机学家、心理学家，被称为“神经网络之父”、“深度学习鼻祖”。Hinton是机器学习领域的加拿大首席学者，是加拿大高等研究院赞助的“神经计算和自适应感知”项目的领导者，是盖茨比计算神经科学中心的创始人，目前担任多伦多大学计算机科学系教授。2013年3月，谷歌收购 Hinton 的公司 DNNResearch 后，他便随即加入谷歌，直至目前一直在 Google Brain 中担任要职。

Yoshua Bengio是蒙特利尔大学（Université de Montréal）的终身教授，任教超过22年，是蒙特利尔大学机器学习研究所（MILA）的负责人，是CIFAR项目的负责人之一，负责神经计算和自适应感知器等方面，又是加拿大统计学习算法学会的主席，是ApSTAT技术的发起人与研发大牛。Bengio在蒙特利尔大学任教之前，是AT&T贝尔实验室 & MIT的机器学习博士后。

Yann LeCun，担任Facebook首席人工智能科学家和纽约大学教授，1987年至1988年，Yann LeCun是多伦多大学Geoffrey Hinton实验室的博士后研究员。

第2章 LeNet概述

LeNet神经网络由上述深度学习三巨头之一的Yan LeCun提出。

如果说Hinton是深度学习之父，那么Yan LeCun就是卷积神经网络 (CNN，Convolutional Neural Networks)之父。

LeNet主要用它来进行手写字符的识别与分类，并在美国的银行中投入了使用。

LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。

虽然LeNet早在20世纪90年代就已经提出了，但由于当时缺乏大规模的训练数据，计算机硬件的性能也较低，因此LeNet神经网络在处理复杂问题时效果并不理想。

虽然LeNet网络结构比较简单，但是刚好适合神经网络的入门学习。

第3章 LeNet-5网络结构分析

LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元，最后进行10分类。

3.1 网络结构描述-垂直法

3.2 网络结构描述-厚度法

3.3 分层解读

（0）输入层：

32 * 32 * 1

（1）C1层（卷积层1）：28×28 * 6

卷积核尺寸：5 * 5
步长：1
特征图尺寸：28 * 28
卷积核个数：6
参数个数：（5 * 5 + 1） * 6
计算量：（5 * 5 + 1） * （28 * 28 ）* 6

（2）降采样1:14 * 14 * 6

类型：平均
降采样输出：14 * 14 * 6
降低比例：14/28 = 1/2

（3）C2层（卷积层1）：10×10 * 16

卷积核尺寸：5 * 5
步长：1
特征图尺寸：10 * 10
卷积核个数：16
参数个数：（5 * 5 + 1） * 16
计算量：（5 * 5 + 1） * （10* 10)* 6

（4）降采样2

类型：平均
降采样输出：5 * 5 * 16
降低比例: 5/10 = 1/2

（5）全连接1：

输入：5 * 5 * 16 = 160
神经元：120
输出：120
激活函数：无

（6）全连2：

输入：160
神经元：84
输出：84
激活函数：无

（7）全连接3

输入：86
神经元：10
输出：10
激活函数：softmax

3.4 分析结果示意

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120893764

[人工智能-深度学习-33]：卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解相关推荐

深度学习～卷积神经网络(CNN)概述
目录 1. 卷积神经网络的形成和演变 1.1 卷积神经网络结构 1.2 卷积神经网络的应用和影响 1.3 卷积神经网络的缺陷和视图 1.3.1 缺陷:可能错分 1.3.2 解决方法:视图 ...
[人工智能-深度学习-14]：神经网络基础 - 常见loss损失函数之逻辑分类，对数函数，交叉熵函数
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
[人工智能-深度学习-9]：神经网络基础 - 常见loss损失函数之均分误差MSE、绝对值误差MAE、平滑平均绝对误差Huber
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
深度学习之卷积神经网络CNN
转自:https://blog.csdn.net/cxmscb/article/details/71023576 一.CNN的引入在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连 ...
深度学习之卷积神经网络CNN理论与实践详解
六月北京 | 高性能计算之GPU CUDA培训 6月22-24日三天密集式学习快速带你入门阅读全文> 正文共1416个字,6张图,预计阅读时间6分钟. 概括大体上简单的卷积神经网络是下面 ...
干货 | 深度学习之卷积神经网络(CNN)的模型结构
微信公众号关键字全网搜索最新排名 [机器学习算法]:排名第一 [机器学习]:排名第一 [Python]:排名第三 [算法]:排名第四前言在前面我们讲述了DNN的模型与前向反向传播算法.而在DNN ...
深度学习：卷积神经网络CNN入门
作者:机器之心链接:https://www.zhihu.com/question/52668301/answer/131573702 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业 ...
深度学习之卷积神经网络CNN 常用的几个模型
LeNet5 论文:http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf LeNet-5:是Yann LeCun在1998年设计的用于手写数字识别的卷 ...
卷积神经网络CNN里经典网络模型之 AlexNet全网最详解（理论篇）
1.背景 2. AlexNet模型结构 3. 特点(创新及新知识点) 一.背景第一个典型的CNN是LeNet5网络,而第一个大放异彩的CNN却是AlexNet.2012年在全球知名的图像识别竞赛 ...

[人工智能-深度学习-33]：卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解