关于神经网络中的shape问题

1.矩阵相乘神经网络

参考：

https://blog.csdn.net/machinerandy/article/details/79632748#commentBox

但对上文中最后一句“并且对于最终全连接的单输出节点 YY 得到的结果也由 Y1×10→Y10×1Y1×10→Y10×1。 ”，持保留意见。

tensorflow中，使用的代码是output = tf.matmul(inputs,W) + b，对应的公式是y = X*W + b。

输入变量X的shape是[样本数，单个样本的特征数]。特征数也是输入层神经元的个数。第（1，2）层（第1层指输入层，第2层指第一个hidden层）的W的shape是[第1层神经元个数，第2层神经元个数]。b的shape是[第2层神经元个数]。（b是加在第2层神经元上的偏置，是一维向量）。

所以第（i，i+1）层，输入的shape是[样本数，第i层的神经元的个数]，W的shape是[第i层神经元个数，第i+1层神经元个数]，b的shape是[第i+1层神经元个数]，输出的shape是[样本数，第i+1层神经元个数]。

输入数据 [samples，输入特征数]
W [输入特征数，输出特征数]
b [输出特征数]
输出数据 [samples，输出特征数]

2.卷积神经网络

输入数据 [samples，height，width，channels]
W [卷积核的height，卷积核的width，in_channels，out_channels]Ps：卷积核一般表示为 卷积核height*卷积核width*卷积核深度。卷积核深度in_channels 与 需要进行卷积操作的数据的 channels 一致。参数out_channels = 卷积核个数。也就是希望输出多少个特征图。此时的 out_channels 也会作为下一次卷积时的卷积核的 in_channels。
b [out_channels]
输出数据[samples，new_height，new_width，out_channels]Ps：卷积处理多通道的情况时，将卷积核也变成多通道。通道间参数独立。输出是将各个通道叠加。Ps: new_height，new_width的计算分padding为valid还是same两种情况：

参考：https://blog.csdn.net/wuzqchom/article/details/74785643#commentBox

卷积或者池化之后，输出size（即图形长宽）的计算公式：

关于神经网络中的shape问题相关推荐

【TensorFlow】——不同shape的tensor在神经网络中的应用（scalar，vector，matrix）
目录 1.scalar--标量 1)在神经网络中存在的场景 2)one_hot编码 3)举例应用 2.vector--向量 3.matrixs--矩阵 4.dim=3的tensor 5.dim ...
神经网络中的「注意力」是什么？怎么用？
来源:转载自公众号「雷克世界」微信号:ROBO_AI 编译:嗯~阿童木呀.多啦A亮概要:神经网络中的注意力机制(Attention mechanisms),也被称为"神经注意力" ...
softmax ce loss_神经网络中的蒸馏技术，从Softmax开始说起
作者:Sayak Paul 编译:ronghuaiyang 导读从各个层次给大家讲解模型的知识蒸馏的相关内容,并通过实际的代码给大家进行演示. 本报告讨论了非常厉害模型优化技术 -- 知识蒸馏,并给 ...
【深度学习】神经网络中的蒸馏技术，从Softmax开始说起
作者:Sayak Paul 编译:ronghuaiyang 导读从各个层次给大家讲解模型的知识蒸馏的相关内容,并通过实际的代码给大家进行演示. 本报告讨论了非常厉害模型优化技术 -- 知识 ...
xml文件卷积神经网络_理解卷积神经网络中的输入与输出形状(Keras实现)
即使我们从理论上理解了卷积神经网络,在实际进行将数据拟合到网络时,很多人仍然对其网络的输入和输出形状(shape)感到困惑.本文章将帮助你理解卷积神经网络的输入和输出形状. 让我们看看一个例子.CNN ...
神经网络中的 Dropout 以及变体方法
Dropout 的学习笔记,主要参考文章: 12种主要的Dropout方法:如何应用于DNNs,CNNs,RNNs中的数学和可视化解释 [科普]神经网络中的随机失活方法 1. 简介深度学习训练模型的 ...
（pytorch-深度学习系列）卷积神经网络中的填充(padding)和步幅(stride)
卷积神经网络中的填充(padding)和步幅(stride) 之前写过一篇blog,描述CNN网络层的输入和输入尺寸的计算关系,但是并没有描述的很全面,这里全面描述了影响输出尺寸的两个超参数paddi ...
卷积神经网络中卷积的作用与原理
目录前言卷积的作用卷积的参数卷积核大小(kernel_size) 填充(padding) same valid full 卷积核算子(operator) Robert 算子 Prewitt算子 ...
Tensor (张量) - 神经网络中的数据结构
Tensor (张量) - 神经网络中的数据结构 Tensor - Data Representation in Neural Networks Tensors are the fundamental ...
（tensorflow笔记）神经网络中的一些关键概念（学习率、激活函数、损失函数、欠拟合和过拟合、正则化和优化器）
目录 1.神经网络复杂度空间复杂度时间复杂度 2.学习率策略指数衰减学习率分段常数衰减 3.激活函数 sigmoid tanh ReLU Leaky ReLU 建议 4.损失函数均方误差损失 ...

关于神经网络中的shape问题

关于神经网络中的shape问题相关推荐

最新文章

热门文章