第3.1章 卷积神经网络(CNN)——Conv、Pool、FC、Activation Function、BN各个层的作用及原理
第3.1章 卷积神经网络CNN-不同层的作用
- 一、Convolution(CONV)
- 二、Pooling(POOL)
- 三、Fully Connected(FC)
- 四、Activation Function
- 五、Batch Normalization(BN)
【详见】卷积网络中三种类型的层
一、Convolution(CONV)
作用: 通过卷积层中卷积核运算,提取卷积核希望提取的特征。
二、Pooling(POOL)
作用: Andrew Ng 对池化层的作用是这样解释的:“ConvNets often also use pooling layers to reduce the size of the representation, to speed the computation, as well as make some of the features that detects a bit more robust”。即减小图像大小、加速计算、使其检测出的特征更加健壮。
三、Fully Connected(FC)
作用: 分类
四、Activation Function
【详见】第1.2章 神经网络中隐藏层、偏置单元、激活函数的作用(使用激活函数的原因)
作用: 为了得到更复杂的函数关系
五、Batch Normalization(BN)
【摘自】深度学习中 Batch Normalization为什么效果好?—— 答主:言有三
【摘自】帮助理解:参数优化方法
1)BN背景:
- 在深度学习中,因为网络的层数非常多,如果数据分布在某一层开始有明显的偏移,随着网络的加深这一问题会加剧(这在BN的文章中被称之为internal covariate shift),进而导致模型优化的难度增加,甚至不能优化。所以,归一化就是要减缓这个问题。(防止“梯度弥散”)
- 随机梯度下降法(SGD)对于训练深度网络简单高效,但是需要人为选择参数,使用BN之后,可以不需要那么刻意的慢慢调整参数。
2)BN的本质原理: 在网络的每一层输入的时候,插入了一个归一化层,也就是先做一个归一化处理(归一化至:均值0、方差为1),然后再进入网络的下一层。
如果是仅仅使用归一化公式,对网络某一层A的输出数据做归一化,然后送入网络下一层B,这样是会影响到本层网络A所学习到的特征的。
比如网络中间某一层学习到特征数据本身就分布在S型激活函数的两侧,强制把它归一化处理后,相当于这一层网络所学习到的特征分布被搞坏了,这可怎么办?
于是文献使出了一招惊天地泣鬼神的招式:变换重构,引入了可学习参数γ、β,这就是算法关键之处。
3)BN作用: 通常BN网络层用在卷积层后,用于重新调整数据分布,解决传播过程中的梯度问题。
4)BN带来的好处:
- 减轻了对参数初始化的依赖,这是利于调参的朋友们的。
- 训练更快,可以使用更高的学习率。
- 一定程度上增加了泛化能力,dropout等技术可以去掉。
第3.1章 卷积神经网络(CNN)——Conv、Pool、FC、Activation Function、BN各个层的作用及原理相关推荐
- 深度学习之卷积神经网络CNN
转自:https://blog.csdn.net/cxmscb/article/details/71023576 一.CNN的引入 在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连 ...
- 基于FPGA的一维卷积神经网络CNN的实现(二)资源分配
资源分配 环境:Vivado2019.2. Part:xcku040-ffva1156-2-i,内嵌DSP个数 1920个,BRAM 600个也就是21.1Mb. 说明:通过识别加高斯白噪声的正弦波. ...
- 基于FPGA的一维卷积神经网络CNN的实现(一)框架
理论建立与效果展示 环境:Vivado2019.2. Part:xcku040-ffva1156-2-i,内嵌DSP个数 1920个,BRAM 600个也就是21.1Mb. 说明:通过识别加高斯白噪声 ...
- 第五章 卷积神经网络(CNN)
文章目录 5.1 卷积神经网络的组成层 5.2 卷积如何检测边缘信息? 5.3 卷积层中的几个基本参数? 5.3.1 卷积核大小 5.3.2 卷积核的步长 5.3.3 边缘填充 5.3.4 输入和输出 ...
- 深度学习(四):卷积神经网络(CNN)模型结构,前向传播算法和反向传播算法介绍。
在前面我们讲述了DNN的模型与前向反向传播算法.而在DNN大类中,卷积神经网络(Convolutional Neural Networks,以下简称CNN)是最为成功的DNN特例之一.CNN广泛的应用 ...
- 卷积神经网络(CNN)的参数优化方法
积神经网络的参数优化方法--调整网络结构是关键!!!你只需不停增加层,直到测试误差不再减少. 著名: 本文是从 Michael Nielsen的电子书Neural Network and Deep L ...
- 第11章 卷积神经网络(CNNs)
第11章 卷积神经网络(CNNs) 我们回顾了整个机器学习和深度学习知识,现在我们学习CNNs(Convolutional Neural Networks)以及它在深度学习中的作用.在传统的前馈神经网 ...
- [人工智能-深度学习-24]:卷积神经网络CNN - CS231n解读 - 卷积神经网络基本层级
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客 本文网址:[人工智能-深度学习-23]:卷积神经网络CNN - CS231n解读 - 卷积神经网络基本层级_ ...
- 卷积神经网络(CNN)张量(图像)的尺寸和参数计算(深度学习)
卷积神经网络(CNN)张量(图像)的尺寸和参数计算(深度学习) 分享一些公式计算张量(图像)的尺寸,以及卷积神经网络(CNN)中层参数的计算. 以AlexNet网络为例,以下是该网络的参数结构图. A ...
最新文章
- C++ 笔记(18)— 类和对象(this 指针、指向类的指针、类静态成员变量和函数)
- html5 div 鼠标跟随,CSS实用:DIV+CSS打造跟随鼠标的层
- python全栈开发要学些什么_如何迅速学习Python 全栈开发?
- HBase常用操作之namespace
- leetcode------Subsets
- 100米队伍,从队伍后到前_我们的队伍
- 深度学习《Photo Editing》
- 你对java的看法 论文,一篇文章让你真正了解Java
- wifi丢包率高怎么解决_笔记本没有显示wifi列表怎么解决?
- += 对于可变对象和不可变对象的区别
- 贝叶斯分类器matlab实现
- 什么是CBR,VBV,CPB
- QT报错 error: [debug/qrc_image.cpp] Error 1
- Connect Four四子棋c++程序 - 善后处理(3)
- nginx验证微信文件
- Linux 追踪技术 ftrace 简介(一)
- thymeleaf 修改css,用thymeleaf设置CSS样式属性
- AMOS从模型到分析
- 经常玩电脑正确的坐姿_如何保持正确坐姿?(多图)
- 了解数据串联五步骤,解锁数据孤岛难题