循环神经网络-Dropout

dropout 是 regularization 方法，在rnn中使用方法不同于cnn

对于rnn的部分不进行dropout，也就是说从t-1时候的状态传递到t时刻进行计算时，这个中间不进行memory的dropout；仅在同一个t时刻中，多层cell之间传递信息的时候进行dropout。

if is_training and config.keep_prob < 1:lstm_cell = tf.nn.rnn_cell.DropoutWrapper(lstm_cell, output_keep_prob=config.keep_prob)

因此，我们在代码中定义完cell之后，在cell外部包裹上dropout，这个类叫DropoutWrapper，这样我们的cell就有了dropout功能！

可以从官方文档中看到，它有input_keep_prob和output_keep_prob，也就是说裹上这个DropoutWrapper之后，如果我希望是input传入这个cell时dropout掉一部分input信息的话，就设置input_keep_prob，那么传入到cell的就是部分input；如果我希望这个cell的output只部分作为下一层cell的input的话，就定义output_keep_prob。不要太方便。

参考资料

recurrent neural network regularization

转载于:https://www.cnblogs.com/yanshw/p/10516384.html

循环神经网络-Dropout相关推荐

dropout层的作用_循环神经网络的 Dropout
循环神经网络(RNNs)是基于序列的模型,对自然语言理解.语言生成.视频处理和其他许多任务至关重要.模型的输入是一个符号序列,在每个时间点一个简单的神经网络(RNN单元)应用于一个符号,以及此前时间点 ...
一文详解循环神经网络的基本概念（代码版）
作者 | 李理目前就职于环信,即时通讯云平台和全媒体智能客服平台,在环信从事智能客服和智能机器人相关工作,致力于用深度学习来提高智能机器人的性能. 写在前面由于工作太忙,这个系列文章有一年多没有更 ...
循环神经网络实现文本情感分类之使用LSTM完成文本情感分类
循环神经网络实现文本情感分类之使用LSTM完成文本情感分类 1. 使用LSTM完成文本情感分类在前面,使用了word embedding去实现了toy级别的文本情感分类,那么现在在这个模型中添加上L ...
循环神经网络实现文本情感分类之Pytorch中LSTM和GRU模块使用
循环神经网络实现文本情感分类之Pytorch中LSTM和GRU模块使用 1. Pytorch中LSTM和GRU模块使用 1.1 LSTM介绍 LSTM和GRU都是由torch.nn提供通过观察文档, ...
从LSTM到GRU基于门控的循环神经网络总结
1.概述为了改善基本RNN的长期依赖问题,一种方法是引入门控机制来控制信息的累积速度,包括有选择性地加入新的信息,并有选择性遗忘之前累积的信息.下面主要介绍两种基于门控的循环神经网络:长短时记忆网络 ...
Pytorch实现基本循环神经网络RNN (3)
1.47.Pytorch实现基本循环神经网络RNN (3) Recurrent Neural networks(Rumelhart, 1986)主要用来处理序列型数据,具有对以往数据的记忆功能.下图所 ...
循环神经网络基础介绍
在应用循环神经网络的过程中,还是会有些地方疑惑,所以还是要回归下问题的本质. 学而不思则惘,思而不学则怠.. 1. 循环神经网路简介首先循环神经网络的主要用途是处理和预测序列数据.在之前的全链接神经 ...
深度学习之循环神经网络（11-b）GRU情感分类问题代码
深度学习之循环神经网络(11-b)GRU情感分类问题代码 1. Cell方式代码运行结果 2. 层方式代码运行结果 1. Cell方式代码 import os import tensorfl ...
深度学习之循环神经网络（11-a）LSTM情感分类问题代码
深度学习之循环神经网络(11-a)LSTM情感分类问题代码 1. Cell方式代码运行结果 2. 层方式代码运行结果 1. Cell方式代码 import os import tensorf ...

循环神经网络-Dropout

循环神经网络-Dropout相关推荐

最新文章

热门文章