对LSTM层的参数units 的理解

model = Sequential()
model.add(LSTM(32, batch_input_shape=(None, 10, 64)))

以上LSTM的第一个参数units=32,指的并不是一层LSTM有32个LSTM单元。
在很多LSTM的框图中，我们都会将LSTM单元按照时间顺序排列开来，句子的长度是多少我们就会画出多少个LSTM单元。这也是给我们带来误解的地方。实际上一层LSTM的每个‘单元’是共享参数的，所以并没有所谓的那么多个LSTM单元，我们可以理解为它们其实是同一个LSTM单元，只有一个单元的参数量。

这里我们设置的units=32的大小，其实代表得是LSTM单元内的隐藏层的尺寸。

对于LSTM而言，每个单元有3个门，对应了4个激活函数（3个sigmoid,一个tanh）。也就是说有4个神经元数量为32的前馈网络层。

对于LSTM的计算过程，我们这里举一个简单的例子：

假如我们样本的每一句话包含5个单词，每个单词用16维的词向量表示。对于LSTM（units=32），我们可以把LSTM内部的计算过程计算过程简化为：

Y=X1×16W16×32，这里X为（1,16）的向量，W为（16,32）的矩阵，所以运用矩阵乘法，将16维的X转化为32维的向量。

如下图所示：

我们可以简单的将LSTM内部的各种计算想象成全连接的之间的矩阵计算。

所以units代表的不是一层单元的个数，而是单元内部隐藏层的大小。

对LSTM层的参数units 的理解相关推荐

从参数数量视角理解深度学习神经网络算法 DNN, CNN, RNN, LSTM 以python为工具
从参数数量视角理解深度学习神经网络算法 DNN, CNN, RNN, LSTM 以python为工具文章目录 1. 神经网络数据预处理 1.1 常规预测情景 1.2 文本预测场景 2.全连接神经网络 ...
keras lstm 层理解
最近一直在看 keras 的循环神经网络的lstm层.看了官方的document,和一些小伙伴的文章,一直都没有特别清楚. 今天看了这篇文章,对RNN 有了一定的了解. 下面我以Nicholas ...
Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
Caffe中卷基层和全连接层训练参数个数如何确定
今天来仔细讲一下卷基层和全连接层训练参数个数如何确定的问题.我们以Mnist为例,首先贴出网络配置文件: [python] view plain copy name: "LeNet" ...
卷积层和全连接层的区别_CNN卷积层、全连接层的参数量、计算量
我们以VGG-16为例,来探讨一下如何计算卷积层.全连接层的参数量.计算量.为了简单.直观地理解,以下讨论中我们都会忽略偏置项,实践中必须考虑偏置项. [卷积层的参数量] 什么是卷积层的参数? 卷积层 ...
『PyTorch』第十一弹_torch.optim优化器每层定制参数
一.简化前馈网络LeNet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 im ...
深度学习卷积层与全连接层权重参数个数的计算
1.卷积网络实例分析构建卷积网络如下: from tensorflow.python.keras import datasets, models, layers class CNN(object): ...
Caffe学习系列(5)：其它常用层及参数
本文讲解一些其它的常用层,包括:softmax_loss层,Inner Product层,accuracy层,reshape层和dropout层及其它们的参数配置. 1.softmax-loss so ...
dao传递类参数 mybatis_MyBatis DAO层传递参数到mapping.xml 几种方式
Dao层传递参数到mapping.xml文件的几种方式:(Mybatis传值总结) 第一种:传递单个参数 Dao层Code片段: /** * 根据articleId查询XXXX详情. * * @par ...

对LSTM层的参数units 的理解

对LSTM层的参数units 的理解相关推荐

最新文章

热门文章