池化层在全连接层之间吗,了解最大池化层之后的全连接层的尺寸

In the diagram (architecture) below, how was the (fully-connected) dense layer of 4096 units derived from last max-pool layer (on the right) of dimensions 256x13x13? Instead of 4096, shouldn't it be 256*13*13=43264 ?

解决方案

If I'm correct, you're asking why the 4096x1x1 layer is much smaller.

That's because it's a fully connected layer. Every neuron from the last max-pooling layer (=256*13*13=43264 neurons) is connectd to every neuron of the fully-connected layer.

This is an example of an ALL to ALL connected neural network:

As you can see, layer2 is bigger than layer3. That doesn't mean they can't connect.

There is no conversion of the last max-pooling layer -> all the neurons in the max-pooling layer are just connected with all the 4096 neurons in the next layer.

The 'dense' operation just means calculate the weights and biases of all these connections (= 4096 * 43264 connections) and add the bias of the neurons to calculate the next output.

It's connected the same was an MLP.

But why 4096? There is no reasoning. It's just a choice. It could have been 8000, it could have been 20, it just depends on what works best for the network.

池化层在全连接层之间吗,了解最大池化层之后的全连接层的尺寸相关推荐

Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
【数据挖掘】卷积神经网络 ( 池化 | 丢弃 | 批量规范化 | 卷积神经网络完整流程示例 | 卷积 | 池化 | 全连接 | 输出 | 卷积神经网络总结 )
文章目录 I . 池化 II . 丢弃操作 III . 批量规范化 IV . 卷积神经网络完整流程示例 ( 1 ) : 原始输入图 V . 卷积神经网络完整流程示例 ( 2 ) : 卷积层 C1C ...
接入层、汇聚层、核心层交换机三者之间的功能详解
接入层交换机的特点与功能我们通常将网络中直接面向用户连接或访问网络的部分称为接入层,也就相当于公司架构里的基层员工. 接入层为用户提供了在本地网段访问应用系统的能力,主要解决相邻用户之间的互访需求, ...
idea连接sql server报错：驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接
idea连接sql server报错:驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接运行环境:IDEA2020.1:JDK1.8:SQL SERVER2005: ...
mysql逻辑架构连接池_GitHub - zzjzzb/ycsocket: 基于swoole的socket框架，支持协程版MySQL、Redis连接池、Actor模型...
ycsocket 基于 swoole 和 swoole_orm 的 websocket 框架,各位可以自己扩展到 TCP/UDP,HTTP. 在ycsocket 中,采用的是全协程化,全池化的数据库. ...
【深度学习的数学】“2×4×1层带sigmoid激活函数的神经网络感知机对三角形平面的分类训练预测”，输出层加偏置b（实时绘制损失函数曲线）（对输入数据归一化）（奇迹出现了！）
文章目录前言代码修改之前错误的代码知道为何Z的结果不能拟合到预期的5了解决办法1:取消输出层神经单元的a和b(直接将z作为输出)(这个办法不行,影响神经单元的完整性,没法计算出输出层神经单元 ...
C语言丢鸡蛋100层,关于100层楼，扔两个鸡蛋，求摔碎鸡蛋的临界层的问题
题目描述: 两个软硬程度一样但未知的鸡蛋,它们有可能都在一楼就摔碎,也可能从一百层楼摔下来没事.有座100层的建筑,要你用这两个鸡蛋确定哪一层是鸡蛋可以安全落下的最高位置.可以摔碎两个鸡蛋. 网上有人 ...
R语言vtreat包自动处理dataframe的缺失值、使用分组的中位数来标准化数据列中每个数据的值（和中位数表连接并基于中位数进行数据标化）、计算数据列的中位数或者均值并进行数据标准化
R语言vtreat包自动处理dataframe的缺失值.使用分组的中位数来标准化数据列中每个数据的值(和中位数表连接并基于中位数进行数据标化).计算数据列的中位数或者均值并基于中位数或者均值进行数据标 ...
【深度学习的数学】接“2×3×1层带sigmoid激活函数的神经网络感知机对三角形平面的分类训练预测”，输出层加偏置b
文章目录代码接:[深度学习的数学]2×3×1层带sigmoid激活函数的神经网络感知机对三角形平面的分类训练预测(绘制出模型结果三维图展示效果)(梯度下降法+最小二乘法+激活函数sigmoid+误 ...
.text 0.958之间居的中文汉化下载
.text 0.958之间居的中文汉化下载 http://218.19.140.219/uploadfile/040426192172.rar posted on 2004-06-14 20:19 浙 ...

池化层在全连接层之间吗,了解最大池化层之后的全连接层的尺寸

池化层在全连接层之间吗,了解最大池化层之后的全连接层的尺寸相关推荐

最新文章

热门文章