tf.nn.bidirectional_dynamic

转载自：https://blog.csdn.net/zhylhy520/article/details/86364789

首先我们了解一下函数的参数

bidirectional_dynamic_rnn(cell_fw, # 前向RNNcell_bw, # 后向RNNinputs, # 输入sequence_length=None,# 输入序列的实际长度（可选，默认为输入序列的最大长度）initial_state_fw=None,  # 前向的初始化状态（可选）initial_state_bw=None,  # 后向的初始化状态（可选）dtype=None, # 初始化和输出的数据类型（可选）parallel_iterations=None,swap_memory=False,time_major=False,scope=None)

值得注意的是，当inputs的张量形状为[batch_size,max_len,embeddings_num]时，time_major = False。当inputs的形状为[max_len,batch_size,embeddings_num]时，time_major = True。一般我们将输入的格式为[batch_size,max_len,embeddings_num]，因此time_major的默认值为False。

函数的输入与tf.nn.dynamic_rnn()相似，由（outputs,outputs_states）组成。

outputs为(output_fw, output_bw)，是一个包含前向cell输出tensor和后向cell输出tensor组成的元组。当time_major = False时，output_fw和output_bw的形状为[batch_size,max_len,hiddens_num]。在此情况下，最终的outputs可以用tf.concat([output_fw, output_bw],-1)或tf.cocat([output_fw, output_bw],2)，这里面的[output_fw, output_bw]可以直接用outputs进行代替。关于tf.concat可以参考https://blog.csdn.net/leviopku/article/details/82380118
output_states为(output_state_fw, output_state_bw)，包含了前向和后向最后的隐藏状态的组成的元组。 output_state_fw和output_state_bw的类型为LSTMStateTuple，由（c,h）组成，分别代表memory cell 和hidden state.

笔者最近做的两个项目分别为基于Bilstm的文本分类和中文实体抽取。对于文本分类来说，需要最后一个time_step的输出，而中文实体抽取则需要最终的outputs，即所有time_step的输出。

#文本分类可以由以下方式得到最后的输入状态

outputs, outputs_state = tf.nn.bidirectional_dynamic_rnn(lstm_fw_cell_m, lstm_bw_cell_m, embedding_inputs,time_major = False,dtype = tf.float32)output_fw = outputs[0]output_bw = outputs[1]#原形状为[batch_size,max_len,hidden_num]output_fw = tf.transpose(output_fw,[1,0,2])#现在形状为[max_len,batch_size,hidden_num]output_bw = tf.transpose(output_bw,[1,0,2])outputs1 = [output_fw,output_bw]lstmoutputs = tf.concat(outputs1, 2)#连接后形状为[max_len,batch_size,2*hidden_num]last = lstmoutputs[-1]#最后一个time_step的输出，为[batch_size,2*hidden_num]# 中文实体抽取(output_fw_seq, output_bw_seq), _ = tf.nn.bidirectional_dynamic_rnn(cell_fw=cell_fw,cell_bw=cell_bw,inputs=self.word_embeddings,sequence_length=self.sequence_lengths,dtype=tf.float32)output = tf.concat([output_fw_seq, output_bw_seq],axis=-1)  # time_major = False,所以输入为[batch_size,time_step,embedding_dim],所以这样连接,相当于 axis = 2

tf.nn.bidirectional_dynamic_rnn()函数详解相关推荐

tf.nn.conv2d()函数详解(strides与padding的关系)
tf.nn.conv2d()是TensorFlow中用于创建卷积层的函数,这个函数的调用格式如下: def conv2d(input: Any,filter: Any,strides: Any,pad ...
tf.nn.softmax参数详解以及作用
tf.nn.softmax参数详解以及作用参考地址:https://zhuanlan.zhihu.com/p/93054123 tf.nn.softmax(logits,axis=None,name ...
nn.Linear()函数详解
nn.Linear()函数详解 torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None)[原文地址] ...
pytorch之torch.nn.Conv2d()函数详解
文章目录一.官方文档介绍二.torch.nn.Conv2d()函数详解参数详解参数dilation--扩张卷积(也叫空洞卷积) 参数groups--分组卷积三.代码实例一.官方文档介绍官 ...
【PyTorch】nn.Conv2d函数详解
文章目录 1. 函数语法格式 2. 参数解释 3. 尺寸关系 4. 使用案例 5. nn.functional.conv2d 1. 函数语法格式 CONV2D官方链接 torch.nn.Conv2d( ...
tf.nn.sampled_softmax_loss用法详解
tensorflow中具体的函数说明如下: tf.nn.sampled_softmax_loss(weights, # Shape (num_classes, dim) - floatXXbiases ...
tf.nn.dynamic_rnn的详解
tf.nn.dynamic_rnn 其和tf.nn.static_rnn,在输入,输出,参数上有很大的区别,请仔细阅读比较 tf.nn.dynamic_rnn(cell,inputs,sequence ...
nn.Flatten()函数详解及示例
torch.nn.Flatten(start_dim=1, end_dim=- 1) 作用:将连续的维度范围展平为张量. 经常在nn.Sequential()中出现,一般写在某个神经网络模型之后,用于 ...
Tensorflow BatchNormalization详解：4_使用tf.nn.batch_normalization函数实现Batch Normalization操作...
使用tf.nn.batch_normalization函数实现Batch Normalization操作觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献吴恩达deeplearnin ...

tf.nn.bidirectional_dynamic_rnn()函数详解

tf.nn.bidirectional_dynamic_rnn()函数详解相关推荐

最新文章

热门文章