全连接层介绍以及简单实现

全连接层是神经网络最后的一层，有着至关重要的作用，全连接层之前的作用是提取特征，全连接层的作用是分类。

下面简单介绍一下全连接层

cnn已经提取到了特征，我们怎么将这个特征转化成输出结果呢，比如识别是什么动物，特征有尾巴，头，四条腿等，cnn已经提取出这些特征，但是我们需要输出[0,1,0....],.index0是猫，index1是狗...,因此全连接层就是这个作用，将特征映射成结果。

举个例子

我们要识别一张图片是不是猫，当我们提取到了一些特征，我就可以判断这个是不是猫了，因为全连接层的作用主要就是实现分类（Classification）。

从上图，可以看出：

红色的神经元表示这个特征被找到了（激活了），同一层的其他神经元，要么猫的特征不明显，要么没找到。当我们把这些找到的特征组合在一起，发现最符合要求的是猫，则认为这是猫了！

导入数据

MLP类继承nn.Module,初始化参数，

nn.Linear(in, out),参数表示输入维度，输出维度，是一个降维的过程，最终降到了维度为10
nn.ReLU(inplace=True),激活函数，数值小于某个值则变为0，舍弃，inplace=True变为0的值直接覆盖，节省空间

初始化net，并将net里面的参数以及学习率放入优化器，参数自动更新，学习率不当也会自动更新。

训练，

optimizer.zero_grad() 清空过往梯度；

loss.backward() 反向传播，计算当前梯度；

optimizer.step() 根据梯度更新网络参数

全连接层介绍以及简单实现相关推荐

全连接层tf.keras.layers.Dense()介绍
函数原型 tf.keras.layers.Dense(units, # 正整数,输出空间的维数activation=None, # 激活函数,不指定则没有use_bias=True, # 布尔值,是否 ...
机器学习入门（15）— 全连接层与卷积层的区别、卷积神经网络结构、卷积运算、填充、卷积步幅、三维数据卷积、多维卷积核运算以及批处理
卷积神经网络(Convolutional Neural Network,CNN)CNN 被用于图像识别.语音识别等各种场合,在图像识别的比赛中,基于深度学习的方法几乎都以 CNN 为基础. 1. 全连 ...
Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
卷积核和全连接层的区别_「动手学计算机视觉」第十六讲：卷积神经网络之AlexNet...
前言前文详细介绍了卷积神经网络的开山之作LeNet,虽然近几年卷积神经网络非常热门,但是在LeNet出现后的十几年里,在目标识别领域卷积神经网络一直被传统目标识别算法(特征提取+分类器)所压制,直到 ...
对于全连接层的理解全连接层的推导
全连接层的推导全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来.由于其全相连的特性,一般全连接层的参数也是最多的. 全连接层的前向计算下图中连线最密集的2个地方就是全连 ...
神经网络学习笔记（一）：全连接层的作用是什么？
以下是我看过最好的全连接层的解释! 原文链接:卷积神经网络(CNN)入门讲解关注专栏以上图为例,我们仔细看上图全连接层的结构,全连接层中的每一层是由许多神经元组成的(1 × 4096)的平铺结构,上 ...
CNN 入门讲解：什么是全连接层
新年第一更祝大家新年快乐万事如意这个时候还愿意点进来,新的一年肯定要起飞了这情人节和新年连着过啊这对情侣意味着什么,意味着要带情人去见家长了当然对一些情侣意味着,情人节过不好,估计年也过不好 ...
“重参数宇宙”再添新成员：RepMLP，清华大学旷视科技提出将重参数卷积嵌入到全连接层
编辑:Happy 首发:AIWalker paper: https://arxiv.org/abs/2105.01883 code: https://github.com/DingXiaoH/RepM ...
全连接层（Fully Connected Layer）
CNN 入门讲解:什么是全连接层(Fully Connected Layer)? 转发于专栏卷积神经网络(CNN)入门讲解我们讲到激活函数(Activation Function),假设我们经过一个 ...

全连接层介绍以及简单实现

全连接层介绍以及简单实现相关推荐

最新文章

热门文章