TensorFlow精进之路（十二）：随时间反向传播BPTT

2024-04-09 20:51:02

1、概述

上一节介绍了TensorFlow精进之路（十一）：反向传播BP，这一节就简单介绍一下BPTT。

2、网络结构

RNN正向传播可以用上图表示，这里忽略偏置。

上图中，

x(1:T)表示输入序列，

y(1:T)表示输出序列，

Y(1:T)表示标签序列，

表示隐含层输出，

表示隐含层输入，

表示经过激活函数之前的输出层输出。

3、前向传播

忽略偏置的前向传播过程如下：

其中，f是激活函数。U、W、V三个权重在时间维度上是共享的。

每个时刻都有输出，所以每个时刻都有损失，记t时刻的损失为,那么对于样本x(1:T)来说，

总损失，使用交叉熵做损失函数，则

3、反向传播BPTT

跟BP类似，想求哪个权值对整体误差的影响就用误差对其求偏导。

3.1、E对V的梯度

根据链式法则有，

其中，

所以，

3.2、E对U的梯度

这个是BPTT与BP之所以不同的地方，因为不止t时刻隐含层与U有关，之前所有的隐含层都跟U有关。所以有，

其中，

假设

则

3、梯度爆炸和梯度消失

用链式法则求损失E对U的梯度为，

其中，

定义

则为，如果，则当 t-k→∞时，→∞，会造成系统不稳定，这就是所谓的梯度爆炸问题。相反，如果，则当 t-k→∞时，，这就是梯度消失问题。因此，虽然简单的循环神经网络理论上可以建立长时间间隔的依赖关系，但是由于梯度爆炸或梯度消失问题，实际上只能解决短周期的依赖关系。为了解决这个问题，一个很好的解决方案是引入“门机制”来控制信息的累计速度，并可以选择遗忘之前积累的信息，这就是长短时记忆神经网络LSTM，下一节再学习这个。

TensorFlow精进之路（十二）：随时间反向传播BPTT相关推荐

TensorFlow精进之路（十一）：反向传播BP
1.概述全连接神经网络和卷积神经网络用的是反向传播(BackPropagation,BP),而卷积神经网络用的是随时间反向传播(BackPropagation Through Time,BPTT), ...
随时间反向传播算法(BPTT)笔记
随时间反向传播算法(BPTT)笔记 1.反向传播算法(BP) 以表达式f(w,x)=11+e−(w0x0+w1x1+w2)f(w,x)=\frac{1}{1+e^{-(w_0x_0+w_1x_1+w_ ...
tensorflow精进之路(十九)——python3网络爬虫（下）
1.概述这一节,我们将在百度图片中爬取需要训练的图片数据:猪.蛇.狗.大象.老虎. 2.打开待爬取网页打开百度图片首页: http://image.baidu.com/ 在搜索框中输入" ...
Tensorflow精进之路（二）：两层卷积神经网络模型训练MNIST
这段时间,打算把TensorFlow再补补,提升一下技术水平~ 希望我能坚持下来,抽空把这本书刷下来吧~ 导入数据下面的代码会直接下载数据,如果没有那个文件夹的话,但是,如果有这个文件夹而且里面有那 ...
tensorflow精进之路(十八)——python3网络爬虫（中）
1.概述上一节简单的介绍了一些python3网络爬虫的知识,这一节就运用上一节的知识写个小demo,用于爬去汽车之家网站的汽车厂商及车型名称. 2.打开待爬取网页打开汽车之家官网, https:/ ...
tensorflow学习笔记(三十二):conv2d_transpose (解卷积)
tensorflow学习笔记(三十二):conv2d_transpose ("解卷积") deconv解卷积,实际是叫做conv_transpose, conv_transpose ...
Tensorflow深度学习之十二：基础图像处理之二
Tensorflow深度学习之十二:基础图像处理之二 from:https://blog.csdn.net/davincil/article/details/76598474 首先放出原始图像: ...
TensorFlow精进之路（九）：TensorFlow编程基础
1.概述卷积部分的知识点在博客:TensorFlow精进之路(三):两层卷积神经网络模型将MNIST未识别对的图片筛选出来已经写过,所以不再赘述.这一节简单聊聊tensorflow的编程基础. 2. ...
TensorFlow精进之路（三）：两层卷积神经网络模型将MNIST未识别对的图片筛选出来
1.概述自从开了专栏<TensorFlow精进之路>关于对TensorFlow的整理思路更加清晰.上两篇讲到Softmax回归模型和两层卷积神经网络模型训练MNIST,虽然使用神经网络能 ...

最新文章

热门文章