CNN（卷积层convolutional layer，激励层activating layer，池化层pooling，全连接层fully connected）

CNN产生的原因：当使用全连接的神经网络时，因为相邻两层之间的神经元都是有边相连的，当输入层的特征纬度非常高时（譬如图片），全连接网络需要被训练的参数就会非常多（参数太多，训练缓慢），CNN可以通过训练少量的参数从而进行特征提取。

上图每一个边就代表一个需要训练的参数，可以直观的感受到需要训练的参数太多了。

CNN的优点：1.相邻两层神经元部分相连。2.且同一层神经元的w（权重）和b（偏移）是共享的。

卷积：用一个核（矩阵）和图片相乘，相当于进行低通道滤波，因此这个核也被称为滤波器。当对一个图进行卷积，在特定的曲线和周边区域，得到的值很高，在其他区域，值相对较低，因此卷积得到的结果也叫激活图。

为什么说CNN相邻两层神经元部分相连：因为上一层和下一层通过卷积核来连接，譬如一个2*2的卷积核，它和输入进行乘法得到下一层的一个神经元的值： 4-->1，因此在这个例子里，上层的四个神经元对应下层的一个神经元，所以叫相邻两层神经元部分相连。

为什么说CNN同一层神经元的权值共享：因为上层和下层仅仅通过卷积核来操作，一层神经元仅仅依赖于这个卷积核，没有其他需要依赖的参数，所以该层的权值就是这个卷积核的大小和步长。（换句话说，训练的就是这个卷积核）

feature map:将一个卷积核对输入数据进行扫描得到的下层神经元矩阵。

激励层：主要对卷积层的输出进行一个非线性映射，一般为ReLu函数。

使用ReLu时，应调小learning rate,防止出现很多梯度为零的神经元
如果不能解决learning rate的问题，就使用Leaky ReLu、PReLu来替代
不建议使用sigmoid函数，用tanh替代

池化层：当卷积核很小时，得到的feature map还是很大，可以通过池化层来进行降维操作，一般有两种方式：

max pooling：取池化视野中的最大值
Average pooling：取池化视野中的平均值

池化视野类似于卷积核的local receptive field

CNN（卷积层convolutional layer，激励层activating layer，池化层pooling，全连接层fully connected）相关推荐

卷积神经网络---卷积层、激励层、池化层以及全连接层
文章目录概述卷积神经网络局部连接+权值共享** 输入层卷积层激励层池化层全连接层参考资料概述这两天在看论文,涉及到卷积神经网络的知识,之前一直对这块迷迷糊糊.看到了一篇博文写的很好 ...
九、(机器学习)-Tensorflow算法之全连接层
Tensorflow,cnn,dnn中的全连接层的理解上一篇我们讲了使用cnn实现cifar10图像分类,模型经过隐藏层中的卷积.归一化.激活.池化之后提取到主要的特征变量,就会到全连接层,那么全连 ...
全连接层（Fully Connected Layer）
CNN 入门讲解:什么是全连接层(Fully Connected Layer)? 转发于专栏卷积神经网络(CNN)入门讲解我们讲到激活函数(Activation Function),假设我们经过一个 ...
Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
深度学习卷积层与全连接层权重参数个数的计算
1.卷积网络实例分析构建卷积网络如下: from tensorflow.python.keras import datasets, models, layers class CNN(object): ...
深入理解卷积层，全连接层的作用意义
有部分内容是转载的知乎的,如有侵权,请告知,删除便是,但由于是总结的,所以不一一列出原作者是who. 再次感谢,也希望给其他小白受益. 首先说明:可以不用全连接层的. 理解1: 卷积取的是局部特征,全 ...
padding和卷积的区别_NiN：使用11卷积层替代全连接层
微信公号:ilulaoshi, 原文发表在我的个人网站:https://lulaoshi.info/machine-learning/convolutional/nin.html LeNet.Alex ...
卷积层与全连接层的区别
卷积层.池化层.全连接层的概念:https://towardsdatascience.com/convolutional-neural-network-17fb77e76c05 关于卷积.全连接层的参 ...
卷积神经网络中卷积层、池化层、全连接层的作用
1. 卷积层的作用卷积层的作用是提取输入图片中的信息,这些信息被称为图像特征,这些特征是由图像中的每个像素通过组合或者独立的方式所体现,比如图片的纹理特征,颜色特征. 比如下面这张图片,蓝色框框住的 ...
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) Encoder编码器-Decoder解码器框架 + Atten ...

CNN（卷积层convolutional layer，激励层activating layer，池化层pooling，全连接层fully connected）

CNN（卷积层convolutional layer，激励层activating layer，池化层pooling，全连接层fully connected）相关推荐

最新文章

热门文章