caffe学习笔记31-理解全连接层

理解全连接层：

连接层实际就是卷积核大小为上层特征大小的卷积运算，卷积后的结果为一个节点，就对应全连接层的一个点。（理解）
假设最后一个卷积层的输出为7×7×512，连接此卷积层的全连接层为1×1×4096。
如果将这个全连接层转化为卷积层：
1.共有4096组滤波器
2.每组滤波器含有512个卷积核
3.每个卷积核的大小为7×7
4.则输出为1×1×4096

由于每个滤波核的大小和上一层的feature map大小一样，保证了转换后的卷积层的运算结果和全连接层是一样的

若后面再连接一个1×1×4096全连接层。则其对应的转换后的卷积层的参数为：
1.共有4096组滤波器
2.每组滤波器含有4096个卷积核
3.每个卷积核的大小为1×1

4.则输出为1×1×4096

-----------------------------------------------------------------------------------------------------------------------

而全连接层的坏处就在于其会破坏图像的空间结构，因此人们便开始用卷积层来“代替”全连接层，通常采用1×1的卷积核，这种不包含全连接的CNN成为全卷积神经网络（FCN），FCN最初是用于图像分割任务，之后开始在计算机视觉领域的各种问题上得到应用，事实上，Faster R-CNN中用来生成候选窗口的CNN就是一个FCN。FCN的特点就在于输入和输出都是二维的图像，并且输入和输出具有相对应的空间结构，在这种情况下，我们可以将FCN的输出看作是一张热度图，用热度来指示待检测的目标的位置和覆盖的区域。在目标所处的区域内显示较高的热度，而在背景区域显示较低的热度，这也可以看成是对图像上的每一个像素点都进行了分类，这个点是否位于待检测的目标上。

caffe学习笔记31-理解全连接层相关推荐

Caffe中卷基层和全连接层训练参数个数如何确定
今天来仔细讲一下卷基层和全连接层训练参数个数如何确定的问题.我们以Mnist为例,首先贴出网络配置文件: [python] view plain copy name: "LeNet" ...
对于全连接层的理解全连接层的推导
全连接层的推导全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来.由于其全相连的特性,一般全连接层的参数也是最多的. 全连接层的前向计算下图中连线最密集的2个地方就是全连 ...
8月2日Pytorch笔记——梯度、全连接层、GPU加速、Visdom
文章目录前言一.常见函数的梯度二.激活函数及其梯度 1.Sigmoid 2.Tanh 3.ReLU 三.Loss 函数及其梯度 1.Mean Squared Error(MSE) 2.Softm ...
深度学习之浅谈全连接层
参考:https://www.zhihu.com/question/41037974 全连接层全连接层(fully connected layers,FC)在整个卷积神经网络中起到"分类器 ...
深度学习笔记（一）：卷积层+池化层+激活函数+全连接层
写在前面:大家好!我是[AI 菌],一枚爱弹吉他的程序员.我热爱AI.热爱分享.热爱开源! 这博客是我对学习的一点总结与记录.如果您也对深度学习.机器视觉.算法.Python.C++ 感兴趣,可以关 ...
神经网络学习笔记（一）：全连接层的作用是什么？
以下是我看过最好的全连接层的解释! 原文链接:卷积神经网络(CNN)入门讲解关注专栏以上图为例,我们仔细看上图全连接层的结构,全连接层中的每一层是由许多神经元组成的(1 × 4096)的平铺结构,上 ...
Python学习笔记--pytorch--随机梯度下降、神经网络与全连接层
随机梯度下降是一个向量,代表函数在某一个点增长的方向,模代表了在该点增长的速率影响搜索过程的因素: 初始状态,学习率,动量激活函数 1.torch.sigmoid (0,1) a=torch.l ...
深度学习笔记02——全连接层
1. Fully connect 每一个activation function就是一个神经元.全连接层就是将每个神经元的输出都作为下一层所有神经元的输入. deep learning 就是有很多的hi ...
【深度学习】全连接层
4.5 全连接层全连接层是一个列向量(单个样本).通常用于深度神经网络的后面几层,用于图像分类任务. 全连接层,是每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来.由于其全相连的特 ...

caffe学习笔记31-理解全连接层

caffe学习笔记31-理解全连接层相关推荐

最新文章

热门文章