深度学习之浅谈全连接层

参考：https://www.zhihu.com/question/41037974

全连接层

全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的特征空间表示映射到样本标记空间的作用。在实际应用时，可以通过卷积操作实现。

比如，将7x7x512的feature map映射到4096的样本空间，可以使用卷积核为774096的卷积核实现

目前由于全连接层参数冗余（仅全连接层参数就可占整个网络参数80%左右），导致训练过慢，有些网络使用了全局平均池化（GAP）取代FC进行融合学到的深度特征。在实际应用中，使用GAP替代FC的网络通常也可以有较好的预测性能，同时GAP还有一个优点，输入fc之前的特征维度需要固定，而GAP就没有特定要求。
FC可在模型表示能力迁移过程中充当“防火墙”的作用。具体来讲，假如在COCO数据集中训练得到一个模型M，将M模型迁移到其他数据集（与原数据集差异较大）中做同样任务，一般带有FC的模型比用GAP的模型效果会好一些。即FC可保持较大的模型鲁棒性，从而保证模型表示能力的迁移
FC有一种特征融合的感觉，将多通道的feature map拉成1维去处理

深度学习之浅谈全连接层相关推荐

MINIST深度学习识别：python全连接神经网络和pytorch LeNet CNN网络训练实现及比较（三）...
版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 在前两篇文章MINIST深度学习识别:python全连接神经网络和pytorch LeNet CNN网 ...
深度学习——神经网络之DNN全连接神经网络、BP算法原理
深度学习--神经网络之DNN全连接神经网络.BP算法原理深度学习--神经网络之DNN全连接神经网络.BP算法原理 1.啥是人工神经网络 2.神经网络的应用 3.神经网络的组成 3.1.神经元 3.2 ...
caffe学习笔记31-理解全连接层
理解全连接层: 连接层实际就是卷积核大小为上层特征大小的卷积运算,卷积后的结果为一个节点,就对应全连接层的一个点.(理解) 假设最后一个卷积层的输出为7×7×512,连接此卷积层的全连接层为1×1×4 ...
图像识别python cnn_MINIST深度学习识别：python全连接神经网络和pytorch LeNet CNN网络训练实现及比较（一）...
版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 全连接神经网络是深度学习的基础,理解它就可以掌握深度学习的核心概念:前向传播.反向误差传递.权重.学习 ...
[深度学习-原理]浅谈Attention Model
系列文章目录深度学习NLP(一)之Attention Model; 深度学习NLP(二)之Self-attention, Muti-attention和Transformer; 深度学习NLP(三) ...
深度学习3—用三层全连接神经网络训练MNIST手写数字字符集
上一篇文章:深度学习2-任意结点数的三层全连接神经网络距离上篇文章过去了快四个月了,真是时光飞逝,之前因为要考博所以耽误了更新,谁知道考完博后之前落下的接近半个学期的工作是如此之多,以至于弄到现在才 ...
【神经网络与深度学习】 Numpy 实现全连接神经网络
1.实验名称 Numpy 实现全连接神经网络实验指南 2.实验要求用 python 的 numpy 模块实现全连接神经网络. 网络结构为一个输入层.一个隐藏层.一个输出层. 隐藏层的激活函数为 Re ...
深度学习之卷积、全连接、反卷积等
全连接参考1:https://zhuanlan.zhihu.com/p/32819991 全连接参考2:代码实现神经网络前后传输 CNN中卷积.池化的前向与反向传播: CNN卷积神经网络和反向传播( ...
从传统到深度学习：浅谈点云分割中的图结构
随着3D扫描技术的进步,如何将点云的前景和背景正确分离成为点云处理的一个具有挑战性的问题.具体来说,就是给定一个对象位置的估计,目标是识别属于该对象的那些点,并将它们与背景点分开.除了将前景与背景分离 ...

深度学习之浅谈全连接层

全连接层

深度学习之浅谈全连接层相关推荐

最新文章

热门文章