卷积神经网络CNN-全连接层
全连接层(Fully Connected layer,FC)
全连接层在整个卷积神经网络中起到了分类器的作用。如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话,全连接层则是起到了将学到的“分布式特征表示”映射到样本标记空间的作用。在 CNN 中,全连接常出现在最后几层,用于对前面设计的特征做加权和。
相邻层的所有神经元之间都有连接,称为全连接(fully connected)。用Affine层实现全连接层。在CNN结构中,经多个卷积层和池化层后,连接着1个或1个以上的全连接层。全连接层中的每个神经元与其前一层的所有神经元进行全连接,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。为了提升 CNN网络性能,全连接层每个神经元的激活函数一般用ReLU函数。如下图所示
全连接的神经网络中,Affine层后面跟着激活函数ReLU层(或者Sigmoid层),图中堆叠了4层Affine-ReLU组合,然后第5层是Affine层,最后由Softmax层输出最终结果(概率)。
作用
全连接层主要用于线性映射,将输入数据从低维空间映射到高维空间。它也可以通过加入非线性激活函数来实现非线性映射。
复杂度
全连接层的复杂度很高,因为每个神经元与上一层的所有神经元都有连接。因此,当网络规模变大时,全连接层的计算量会呈指数增长。
全连接层的操作过程
卷积取的是局部特征,全连接就是把以前的局部特征重新通过权值矩阵组装成完整的图。因为用到了所有的局部特征,所以叫全连接。
如下图所示,一开始是9x9的图像,经过一系列的卷积、池化、激活函数操作后,即将进入到全连接层中。
到了全连接层时,全连接层是一维数据,所以要将feature map变为一维。提问:它是怎么样把二维的输出,转换成一维形式的呢?假设在到达全连接层时是3个2x2的矩阵,此时这12×1向量中的每一个元素就是输入层的一个神经元,将这3个矩阵变为一维的操作如下图所示:
然后将得到的一维向量输入到网络中以概率(Softmax)的方式判断是X还是非X。粗线表示特征明显的数据,即是X的特征与不是X的特征,如下图所示:
根据计算得到的权重矩阵,对其进行加权求和,就得到了每个分类的得分,然后根据softmax函数进行概率计算,得到X的概率为0.92,不是X的概率为0.5。如下图所示:
最终得到输出结果。
reference:
[1]:https://blog.csdn.net/m0_37407756/article/details/80904580
[2]:https://www.youtube.com/watch?v=_0rICtewveE
[3]:https://juejin.cn/post/7196330013981392933
卷积神经网络CNN-全连接层相关推荐
- 卷积层和全连接层的区别_卷积神经网络中全连接层作用理解总结
前言 一般来说,卷积神经网络会有三种类型的隐藏层--卷积层.池化层.全连接层.卷积层和池化层比较好理解,主要很多教程也会解释. • 卷积层(Convolutional layer)主要是用一个采样器 ...
- 卷积神经网络的全连接层转换成卷积层
两个结构的input-->output对应的参数量是没有变的.在卷积层中,将输出的通道数(卷积核个数)当做全连接层的神经元个数.
- 卷积神经网络中全连接层、softmax与softmax loss理解
1.全连接层 假设全连接层前面连接的是一个卷积层,这个卷积层的num output是100,就是卷积之后输出一百张不同的特征图.每个特征的大小是4X4,那么在将这些特征输入给全连接层之前会将这些特征f ...
- CNN 全连接层与卷积层深刻理解
CNN 全连接层与卷积层 卷积和全连接关系 卷积取的是局部特征,全连接就是把以前的局部特征重新通过权值矩阵组装成完整的图. 因为用到了所有的局部特征,所以叫全连接 什么是全连接层 全连接层(fully ...
- 『Transformer』为什么1*1卷积可以替代全连接层?
为什么1*1卷积可以替代全连接层? 起源 解决 参考 起源 事情起源于同学的一个疑惑,他在阅读Transformer论文时,看到作者在前馈神经网络部分写有这么一句话: Another way of d ...
- 深度学习(22)神经网络与全连接层五: 误差计算
深度学习(22)神经网络与全连接层五: 误差计算 1. MSE 2. Entropy(熵) 3. Cross Entropy 4. Binary Classification 5. Single ou ...
- 深度学习(21)神经网络与全连接层四: 输出方式
深度学习(21)神经网络与全连接层四: 输出方式 1. y∈Rdy∈R^dy∈Rd 2. yi∈[0,1]y_i∈[0,1]yi∈[0,1] 3. sigmoid函数 (1) 目的 (2) tf.s ...
- 深度学习(19)神经网络与全连接层二: 测试(张量)实战
深度学习(19)神经网络与全连接层二: 测试(张量)实战 1. 传入测试集数据 2. 数据类型转换 3. 创建test_db 4. test/evluation 5. 创建神经网络 6. 输出 7. ...
- 深度学习(18)神经网络与全连接层一: 数据加载
深度学习(18)神经网络与全连接层一: 数据加载 1. 常用数据集 2. MNIST数据集 (1) MNIST样本 (2) MNIST加载案例 3. CIFAR10/100 (1) CIFAR10/1 ...
- “重参数宇宙”再添新成员:RepMLP,清华大学旷视科技提出将重参数卷积嵌入到全连接层
编辑:Happy 首发:AIWalker paper: https://arxiv.org/abs/2105.01883 code: https://github.com/DingXiaoH/RepM ...
最新文章
- 光模块的正确安装方法和使用须知
- 腾讯视频app下载2019_腾讯视频主设备如何设置
- 自编码器(Auto-encoder) (上) – 基本概念
- admin 系统被嵌套在第三方系统中的跨域异常
- Python的1~100奇数之和
- java 方法互斥_Java 两个互斥方法同时访问一个成员变量
- RFM模型及R语言实现
- MATLAB警告:名称不存在或不是目录
- html5中图像水平边距,图像的垂直边距和水平边距属性
- 数据结构 javascript 描述[Data-Structure described byJavaScript]
- Java文件压缩加密
- Java Logging之JUL系列——Filter
- iOS之地图的使用和实时描绘运动轨迹
- c4d-造型工具-6
- Day644.Spring框架开发双刃剑 -Java业务开发常见错误
- oracle自动加一天,如何将Oracle 当前日期加一天、一分钟
- Windows系统被faust勒索病毒攻击勒索病毒解密服务器与数据库解密恢复
- 手机汉字输入法欲立国家标准
- 休眠 鼎鼎机器人_COC部落冲突鼎鼎机器人
- node.js源码编译安装(linux)