一、AlexNet卷积神经网络结构模型

1、数据库ImageNet

2、AlexNet第一层卷积层

二、AlexNet卷积神经网络的改进

1、非线性变化函数的改变——ReLU

2、最大池化（Max Pooling）概念的提出——卷积神经网络通用

1）池化层

2）最大池化

问题1：在AlexNet中，后向传播时，池化后特征图像的梯度怎么传给池化前的图像？——赢者通吃法

3）池化过程的功能和效果

3、随机丢弃（Drop Out）

问题2：为什么参数要乘以（1-p）？

4、增加训练样本

5、利用2片GPU进行加速

三、AlexNet的效果

四、AlexNet中的参数

一、AlexNet卷积神经网络结构模型

1998年LeNet卷积神经网络

2013年AlexNet卷积神经网络

AlexNet卷积神经网络相较于LeNet卷积神经网络其实本质上没有改变，只是在一些细节上进行了改善

1、数据库ImageNet

数据库：ImageNet

样本数据：120万

类别：1000类

2、AlexNet第一层卷积层

第一层卷积层的相关参数

图像大小：227*227*3

卷积核大小：11*11*3

卷积核个数：96个

步长：【4，4】

特征图像大小：55*55*96，图上看起来是48，实际上是96，将96分成两个48给两个GPU进行处理

二、AlexNet卷积神经网络的改进

1、非线性变化函数的改变——ReLU

2、最大池化（Max Pooling）概念的提出——卷积神经网络通用

1）池化层

在LeNet中这一层叫做降采样层，Alex将其改名为池化层Pooling

2）最大池化

LeNet中这一层所做的事情是将红色区域的所有值的平均值作为输出，变成右边的一个蓝色像素格子

但是在AlexNet中，是将红色区域中最大的像素值作为输出，变成右边的一个蓝色像素格子的值

问题1：在AlexNet中，后向传播时，池化后特征图像的梯度怎么传给池化前的图像？——赢者通吃法

答：在LeNet中前向传播是平均池化，后向传播时将池化后的特征每一个格子的梯度平均分给池化前的图像

但是在AlexNet中由于是最大池化得到的池化后的特征图像，因此在后向传播的梯度处理上，也是基于此。将上图中蓝色格子的梯度直接传播赋值给池化前红色区域的像素值最大的格子，其余的格子的梯度设置为0，这就是赢者通吃法则

3）池化过程的功能和效果

功能：

降采样

非线性操作——因此池化用的是最大池化，和RULE函数进行非线性转换的效果是一样的

效果：

只有最大像素值有关，其余像素的梯度均设置为0，这样导致的结果就是参与前向计算的神经元减少，降低了过拟合的可能

3、随机丢弃（Drop Out）

训练用丢弃神经元后的神经网络，测试的时候需要用完整的神经网络

注：随机丢弃可以随机地激活一部分神经元，会使得参数稳定化，避免了过拟合

问题2：为什么参数要乘以（1-p）？

答：望赐教

4、增加训练样本

有的时候参数过多，训练样本不够，这样就会导致待测参数的不准确，使得性能不够

5、利用2片GPU进行加速

三、AlexNet的效果

四、AlexNet中的参数

参数个数可参考：《机器学习——深度学习之卷积神经网络（CNN）——LeNet卷积神经网络结构》

机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构相关推荐

花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层
目录 0. 前言 1. 2D 图像卷积 2. 3D 图像卷积 3. 过滤器(核函数) 4. 过滤器应用于边缘检测 5. padding 填充 6. stride 步长 7. 使用卷积的动机 8. 1乘 ...
【深度学习】cs231n计算机视觉 CNN（卷积神经网络）
CNN(卷积神经网络)理论知识完成课程笔记:Convolutional Neural Networks for Visual Recognition的理解,便于实现CNN~ 1. 结构概述卷积神经 ...
卷积神经网络(CNN)——图像卷积
一.为什么要对图像做卷积? 神经网络中的多层感知机(MLP)十分适合处理表格数据,其中行对应样本,列对应特征.正如我们之前使用 MLP 对 Fashion-MNIST 数据集进行训练和预测的那样,输入 ...
详细解释卷积神经网络CNN中卷积层以及BN层的参数
问题的提出在做关于python的卷积神经网络的项目中,发现了一个卷积层加一个BN层竟然一共有6个参数.百思不得其解. if batch_norm:layers += [nn.Conv2d(in_ch ...
卷积神经网络CNN——图像卷积与反卷积（后卷积，转置卷积）
https://blog.csdn.net/fate_fjh/article/details/52882134
吴恩达《机器学习》学习笔记十一——神经网络代码
吴恩达<机器学习>学习笔记十一--神经网络代码数据准备神经网络结构与代价函数· 初始化设置反向传播算法训练网络与验证课程链接:https://www.bilibili.com/v ...
花书+吴恩达深度学习（十四）卷积神经网络 CNN 之经典案例（LetNet-5, AlexNet, VGG-16, ResNet, Inception Network）
目录 0. 前言 1. LeNet-5 2. AlexNet 3. VGG-16 4. ResNet 残差网络 5. Inception Network 如果这篇文章对你有一点小小的帮助,请给个关注, ...
[人工智能-深度学习-33]：卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 ...
花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层
目录 0. 前言 1. 全连接层(fully connected layer) 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN ...

机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构

一、AlexNet卷积神经网络结构模型

1、数据库ImageNet

2、AlexNet第一层卷积层

二、AlexNet卷积神经网络的改进

1、非线性变化函数的改变——ReLU

2、最大池化（Max Pooling）概念的提出——卷积神经网络通用

1）池化层

2）最大池化

问题1：在AlexNet中，后向传播时，池化后特征图像的梯度怎么传给池化前的图像？——赢者通吃法

3）池化过程的功能和效果

3、随机丢弃（Drop Out）

问题2：为什么参数要乘以（1-p）？

4、增加训练样本

5、利用2片GPU进行加速

三、AlexNet的效果

四、AlexNet中的参数

机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构相关推荐

最新文章

热门文章