参数

参数	描述
cell
input_shape	(timestep, input_dim),timestep可以设置为None,由输入决定,input_dime根据具体情况
return_sequences	返回最后序列最后一个词,或者所有词
return_state
go_backwards
stateful
unroll
time_major

输入形状

n维的张量(batch_size, timesteps, input_dim)
例如:
1.100个句子,每个句子20个词,每个词80维度的向量,那么形状就是(100,20,80)
2.如果是简单的时间序列,则input_dime为1,也就是说该step的值就是它的特征
一个两个步长的序列表示为:[[1],[2]]

输出形状

return_sequences:
False:(batch_size, output_size)
True:(batch_size, timesteps, output_size)

init

__init__(cell,return_sequences=False,return_state=False,go_backwards=False,stateful=False,unroll=False,time_major=False,**kwargs
)

理论

WaaW_{aa}Waa是指上一个时间步的权重矩阵,形状是(cell∗cellcell*cellcell∗cell),就是该循环层的隐藏单元(输入是上一时间步的输出cell,输出是这一个时间步的cell);
WaxW_{ax}Wax是这个时间步特征的权重矩阵(和全连接层相同),形状是(features∗cellfeatures*cellfeatures∗cell).features是上一层的输入,比如一句话中一个单词的词向量维度,cellcellcell是本层的隐藏单元
bab_aba是偏置量,形状是(cellcellcell),有多少个隐藏单元就有多少个偏置量

所以权重的个数计算是(特征权重+上一个时间步输出权重+偏置量)
cell∗features+cell∗cell+cellcell*features+cell*cell+cellcell∗features+cell∗cell+cell
当然这个公式也可以简化为(wa[a<t−1>,x<t>]+baw_a[a^{<t-1>},x^{<t>}]+b_awa[a<t−1>,x<t>]+ba):
cell∗(features+cell)+cellcell*(features+cell)+cellcell∗(features+cell)+cell

参考:
官网
LSTM神经网络输入输出究竟是怎样的？
如何理解lstm的输入输出
完全解析RNN, Seq2Seq, Attention注意力机制
循环神经网络RNN打开手册

TensorFlow tf.keras.layers.RNN相关推荐

TensorFlow tf.keras.layers.Permute
更改维度的顺序,维度索引从1开始 model = Sequential() model.add(Permute((2, 1), input_shape=(10, 64))) # 交换第一维度和第二维度 ...
TensorFlow tf.keras.layers.Dense
参数参数描述 units 输出的维度 activation 激活函数,默认"linear" use_bias kernel_initializer bias_initializ ...
TensorFlow tf.keras.layers.conv2D
参数描述参数描述 inputs 把上一层的输出作为输入(直接将上一层作为参数输入即可) input_shape 当作为模型的第一层时,需要指出输入的形状(samples,rows,cols,cha ...
tensorflow tf.keras.layers tf.image 图像增强
import matplotlib.pyplot as plt import numpy as np import tensorflow as tf import tensorflow_dataset ...
TensorFlow tf.keras.layers.GlobalAveragePooling1D
参数 steps 是时间序列的意思,就是一句话包含了多少个词,features是每个词的特征,可以联想图片处理中一个像素点对应3个通道(channel,就是feathures,其对应的就是filter ...
TensorFlow tf.keras.layers.Embedding
参数参数描述 input_dim 词汇表的维度(总共有多少个不相同的词) output_dim 嵌入词空间的维度 input_length 输入语句的长度 embeddings_initializ ...
Tensorflow tf.keras.layers.LSTM
参数参数描述 units 输出空间的维度 input_shape (timestep, input_dim),timestep可以设置为None,由输入决定,input_dime根据具体情况 ac ...
TensorFlow tf.keras.layers.TimeDistributed
对时间序列每个timestamp的向量空间做一个层 # as the first layer in a model model = Sequential() model.add(TimeDistrib ...
TensorFlow tf.keras.layers.Lambda
# add a x -> x^2 layer model.add(Lambda(lambda x: x ** 2)) 参考: 官网

TensorFlow tf.keras.layers.RNN

参数

输入形状

输出形状

init

理论

TensorFlow tf.keras.layers.RNN相关推荐

最新文章

热门文章