全连接层输入为什么是固定维度的（拉直/压扁Flatten成为列向量）

(转载）
全连接层的计算其实相当于输入的特征图数据矩阵和全连接层权值矩阵进行内积，在配置一个网络时，全连接层的参数维度是固定的（是先w设定的），所以两个矩阵要能够进行内积，则输入的特征图的数据矩阵维数也需要固定。
全连接层需要把输入拉成一个列项向量，如下图所示：
比如你的输入的feature map是2X2，那么就需要把这个feature map 拉成4X1的列向量，如果你的feature map 的channels是3，也就是你的输入是2X2*3，也就是相当于有了12个像素点，你就需要把feature map 拉成12X1的列向量，这时候，再乘一个权重，这个权重要把12个像素点都包含进去，所以这个权重的矩阵形式应该是1X12,所以经过一个全连接层后的输出就是1X12X12X1=1X1，这时候需要看你的需要多少个1X1的神经元了，如果是3个的话，那么输出就是3X（1X12X12X1）=3X（1X1）.这个3在权重矩阵中代表3行，即每一行与输入相乘，得到一个输出：

全连接层输入为什么是固定维度的（拉直/压扁Flatten成为列向量）相关推荐

Pytorch中卷积层转向全连接层时，全连接层输入维度的确定
Pytorch中卷积层转向全连接层时,全连接层输入维度的确定一.代码法: 改变的AlexNet网络结构: AlexNet 二.公式法: 一.代码法: 改变的AlexNet网络结构: 输入维度为 ( ...
解释--全连接层输入大小固定
在刚接触目标检测时,学习到R-CNN时,为了使全连接层的输入大小固定,作者将卷积神经网络的输出经过warp操作,使得输入大小固定,那问题来了,为什么全连接网络的输入需要固定,而卷积神经网络的大小可以是 ...
全连接层与卷积层（总结）
全连接层与卷积层: 全连接鞥卷积层全连接层是使用图像的全局信息,全连接层的权重是固定的,要求输入的feature map的大小也有要求,所以网络开始输入图像的大小要固定.全连接层的每一个节点都有上 ...
卷积核和全连接层的区别_「动手学计算机视觉」第十六讲：卷积神经网络之AlexNet...
前言前文详细介绍了卷积神经网络的开山之作LeNet,虽然近几年卷积神经网络非常热门,但是在LeNet出现后的十几年里,在目标识别领域卷积神经网络一直被传统目标识别算法(特征提取+分类器)所压制,直到 ...
为什么有全连接层的卷积网络输入图片尺寸需要固定的
一句话: 全连接层的一个神经元对应一个输入. 换句话说, 全连接层要求固定的输入维度. 数学推导: 大家都知道, z=wx+b,全连接神经网络结构一旦固定,需要学习的参数w是固定的,例如输入图像是 ...
为什么LeNet5网络倒数第二个全连接层维度为84？
https://www.toutiao.com/a6703703460887396871/ 相信大家也都知道LeNet5这个经典的卷积神经网络,它有3个全连接层,输出维度分别是120,84,10,不知 ...
【AI-1000问】为什么LeNet5倒数第二个全连接层维度为84？
文章首发于微信公众号<有三AI> [AI-1000问]为什么LeNet5倒数第二个全连接层维度为84? 为什么LeNet5倒数第二个全连接层维度为84? 相信大家也都知道LeNet5这个经 ...
VGG16网络结构修改全连接层可以实现输入图像尺寸的限制
A: VGG16标准模型为啥要指定现在输入图像的尺寸224*224? Q:因为权重文件的参数数量是提前预设好了的,如果改变输入图像的尺寸,那么在最后一层卷积层的输出就不是7*7*512 ,全连接层 ...
机器学习入门（15）— 全连接层与卷积层的区别、卷积神经网络结构、卷积运算、填充、卷积步幅、三维数据卷积、多维卷积核运算以及批处理
卷积神经网络(Convolutional Neural Network,CNN)CNN 被用于图像识别.语音识别等各种场合,在图像识别的比赛中,基于深度学习的方法几乎都以 CNN 为基础. 1. 全连 ...

全连接层输入为什么是固定维度的（拉直/压扁Flatten成为列向量）

全连接层输入为什么是固定维度的（拉直/压扁Flatten成为列向量）相关推荐

最新文章

热门文章