卷积神经网络CNN要点：CNN结构、采样层、全连接层、Zero-padding、激活函数及Dropout

2024-05-29 11:50:47

CNN结构：

卷积层：特征提取；
采样层：特征选择；
全连接层：根据特征进行分类。

采样层（pooling）:

max-pooling：克服卷积层权值参数误差；
average-pooling：克服卷积核邻域大小受限。

全连接层（Fully Connected Layer）：

全连接层（FC） 可以看为和上一个采样层（pooling） 中存在一个卷积操作。如：上一个采样层维数为3*3*5，而全连接层维数为1*4096。那么中间可以看做存在一个3*3*5*4096的卷积层进行了卷积操作。

这一步操作相当于把前面提取出的分布式特征映射到样本标记空间。即忽略特征之间的相对位置信息（空间结构特性），把所有特征整合到一起输出为一个值。

FC 的层数越多，越能表达非线性问题。但由于参数量大，会降低学习效率。因此，新提出的网络模型如 ResNet 和 GoogLeNet 采用全局平均池化（global average pooling，GAP）取代 FC 来融合学习到的特征，这样得到的网络通常具有更好的预测性能。

Zero-padding作用：

方便提取更加细致的特征；
控制卷积层输出的特征图的大小，达到控制网络结构的作用。

激活函数：

在CNN中激活函数的引入，为了解决以下几个问题：

通过叠加简单的神经网络，无法解决非线性分类问题；
在CNN中需要根据神经网络输出值进行分类；
误差反向传播时，X过大会导致error过大，这样更新权值没有意义；
线性分类器在误差反向传播过程中，梯度的计算和输入无关。

因此激活函数的引入有如下作用：

提高模型鲁棒性；
使网络具有非线性表达能力；
缓解梯度消失问题；
将特征图映射到新的特征空间有利于训练；
加速模型收敛。

Dropout要点：

Dropout_rate一般设置为0.3~0.5之间。
在训练时要对没有被Dropout的神经元权值做一个rescale：
rescale_rate=11−dropout_raterescale\_rate = \frac{1}{1-dropout\_rate}rescale_rate=1−dropout_rate1
因此训练过程中前向传播公式可以写为：
r(l)=Bernoulli(p)r^{(l)} = Bernoulli(p) r(l)=Bernoulli(p)
y~(l)=r(l)⋅y(l)\tilde{y}^{(l)} = r^{(l)}\cdot y^{(l)}y~(l)=r(l)⋅y(l)
Zi(l+1)=Wil+1⋅y~(l)+bil+1Z_{i}^{(l+1)} = W_{i}^{l+1} \cdot \tilde{y}^{(l)} + b_{i}^{l+1}Zi(l+1)=Wil+1⋅y~(l)+bil+1
yi(l+1)=f(zi(l+1))y_{i}^{(l+1)} = f(z_{i}^{(l+1)})yi(l+1)=f(zi(l+1))

卷积神经网络CNN要点：CNN结构、采样层、全连接层、Zero-padding、激活函数及Dropout相关推荐

【TensorFlow】TensorFlow从浅入深系列之十 -- 教你认识卷积神经网络的基本网路结构及其与全连接神经网络的差异
本文是<TensorFlow从浅入深>系列之第10篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维 ...
CNN 入门讲解：什么是全连接层
新年第一更祝大家新年快乐万事如意这个时候还愿意点进来,新的一年肯定要起飞了这情人节和新年连着过啊这对情侣意味着什么,意味着要带情人去见家长了当然对一些情侣意味着,情人节过不好,估计年也过不好 ...
神经网络学习笔记（一）：全连接层的作用是什么？
以下是我看过最好的全连接层的解释! 原文链接:卷积神经网络(CNN)入门讲解关注专栏以上图为例,我们仔细看上图全连接层的结构,全连接层中的每一层是由许多神经元组成的(1 × 4096)的平铺结构,上 ...
CNN 全连接层与卷积层深刻理解
CNN 全连接层与卷积层卷积和全连接关系卷积取的是局部特征,全连接就是把以前的局部特征重新通过权值矩阵组装成完整的图. 因为用到了所有的局部特征,所以叫全连接什么是全连接层全连接层(fully ...
【数据挖掘】卷积神经网络 ( 视觉原理 | CNN 模仿视觉 | 卷积神经网络简介 | 卷积神经网络组成 | 整体工作流程 | 卷积计算图示 | 卷积计算简介 | 卷积计算示例 | 卷积计算参数 )
文章目录 I . 人类的视觉原理 II . 卷积神经网络模仿视觉原理 III . 卷积神经网络简介 IV . 卷积神经网络组成 V . 卷积神经网络工作流程 VI . 降低样本参数数量级 VI ...
卷积神经网络---卷积层、激励层、池化层以及全连接层
文章目录概述卷积神经网络局部连接+权值共享** 输入层卷积层激励层池化层全连接层参考资料概述这两天在看论文,涉及到卷积神经网络的知识,之前一直对这块迷迷糊糊.看到了一篇博文写的很好 ...
解释一下全连接层CNN中全连接层是什么样的
(名称:全连接.意思就是输出层的神经元和输入层的每个神经元都连接) 在卷积神经网络的最后,往往会出现一两层全连接层,全连接一般会把卷积输出的二维特征图转化成一维的一个向量,这是怎么来的呢?目的何在呢? ...
【卷积神经网络】卷积层，池化层，全连接层
转于:<入门PyTorch> 卷积层是卷积神经网络的核心, 大多数计算都是在卷积层中进行的. 1 卷积层 1.1 概述首先介绍卷积神经网络的参数. 这些参数是由一些可学习的滤波器集合构成 ...
卷积核和全连接层的区别_「动手学计算机视觉」第十六讲：卷积神经网络之AlexNet...
前言前文详细介绍了卷积神经网络的开山之作LeNet,虽然近几年卷积神经网络非常热门,但是在LeNet出现后的十几年里,在目标识别领域卷积神经网络一直被传统目标识别算法(特征提取+分类器)所压制,直到 ...
卷积神经网络—全连接层
卷积神经网络-全连接层全连接层全连接层与卷积层全连接层与GAP(全局平均池化层) [1] https://blog.csdn.net/Touch_Dream/article/details/79 ...

最新文章

热门文章