1. 全连接层

全连接层，指的是每一个结点都与上一层的所有结点相连，用来把前面几层提取到的特征综合起来。

举个例子，前面通过卷积和池化层提取出来的特征有眼睛鼻子和嘴巴，那我们能单独通过这三个特征来判断出这是一只猫吗？显然不能，因为拥有眼睛鼻子嘴巴这三个特征的动物太多了吧，所以我们需要对这三个特征进行特征融合，从而最终判断出这个东东是一只猫猫而不是修狗。

也因此，全连接层相对于卷积层和池化层，需要的参数多很多。

那么看到现在，全连接层和卷积层的其实就是局部和整体的关系，我们知道卷积是对图像的局部区域进行连接，通过卷积核完成的是感受野内的长宽方向以及channel 方向的数据连接。

而全连接层呢？它的每次完成的是所有channel方向的连接，它看到的是全局特征。

除此之外，卷积和全连接在算法上是可以转换的。通常情况下，在进行全连接的计算时，可以把它等效于卷积核为1x1的卷积运算。

2. SoftMax算法

在很多现有的深度学习框架中，SoftMax函数经常被调用初学者大都对它一知半解，只知道SoftMax可以用来做分类，输出属于某个类别的概率。但是，为什么要用SoftMax呢？这个算法又是如何将神经网络推理的数值，转换为一个类别的分类的呢？
首先，我们要明确下面这两个概念：
第一，神经网络最终选择某一分类，依据的不是得分，而是概率
第二，得分是神经网络经过了几十层卷积运算计算出来的

知道了这两个概念以后，正式来介绍SoftMax算法。
先看他这个名字，Soft明显和Hard相对，那HardMax算法就是我们日常理解的Max，比如Max（3，4）就是4。
SoftMax不一样，它是要处理多个类别分类的问题。并且，需要把每个分类的得分值换算成概率，同时解决两个分类得分值接近的问题。

SoftMax函数的公式如上图所示，其中

以e为底数进行了指数运算，算出每个分类的 eZi，作为公式的分子
分母为各分类得分指数运算的加和。
根据公式很自然可以想到，各个分类的SoftMax值加在一起是1，也就是100%。所以，每个分类的SoftMax的值，就是将得分转化为了概率，所有分类的概率加在一起是100%。

至于为什么选择指数函数，这也是有讲究的。

假设我们要让计算机识别以下照片

仓鼠的得分是2.1，白面包的得分是1.9，猫的得分是0.1
如果不用指数函数的话，其实仓鼠得分和白面包的得分是差不多的，但指数增长的特性就是，横轴变化很小的量，纵轴就会有很大的变化。所以，从1.9变化到2.1，经过指数的运算，两者的差距立马被的拉大了。从而，我们可以更加明确的知道，图片的分类应该属于最大的那个。
这就是SoftMax的底层原理。

resnet(4)------全连接层与softmax相关推荐

卷积神经网络中全连接层、softmax与softmax loss理解
1.全连接层假设全连接层前面连接的是一个卷积层,这个卷积层的num output是100,就是卷积之后输出一百张不同的特征图.每个特征的大小是4X4,那么在将这些特征输入给全连接层之前会将这些特征f ...
为什么有全连接层的卷积网络输入图片尺寸需要固定的
一句话: 全连接层的一个神经元对应一个输入. 换句话说, 全连接层要求固定的输入维度. 数学推导: 大家都知道, z=wx+b,全连接神经网络结构一旦固定,需要学习的参数w是固定的,例如输入图像是 ...
Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
caffe中常用的层：全连接层Full Connection层
全连接层到底什么用?我来谈三点. 全连接层(fully connected layers,FC)在整个卷积神经网络中起到"分类器"的作用.如果说卷积层.池化层和激活函数层等操作是将 ...
【深度学习】全连接层 (Full Connection，FC)
Introduce 全连接层也是一种卷积层. 它的参数基本和卷积层的参数一样,只是它的卷积核大小和原数据大小一致. 起到将学到的"分布式特征表示"映射到样本标记空间的作用. 用 g ...
卷积层与全连接层的区别
卷积层.池化层.全连接层的概念:https://towardsdatascience.com/convolutional-neural-network-17fb77e76c05 关于卷积.全连接层的参 ...
机器学习入门（15）— 全连接层与卷积层的区别、卷积神经网络结构、卷积运算、填充、卷积步幅、三维数据卷积、多维卷积核运算以及批处理
卷积神经网络(Convolutional Neural Network,CNN)CNN 被用于图像识别.语音识别等各种场合,在图像识别的比赛中,基于深度学习的方法几乎都以 CNN 为基础. 1. 全连 ...
【深度学习】(3) 全连接层、激活函数
各位同学好,今天和大家分享一下tensorflow2.0深度学习中的相关操作.内容有: (1) 全连接层创建: tf.keras.Sequential(),tf.keras.layers.Dense( ...
基于pytorch开发CNN提取全连接层作为特征
场景:利用CNN网络的全连接层作为图像的特征. 代码: import sys import os import math import random import heapq import time ...

resnet(4)------全连接层与softmax

文章目录

1. 全连接层

2. SoftMax算法

resnet(4)------全连接层与softmax相关推荐

最新文章

热门文章