第四章：循环神经网络
目录
Part One.计算图
一、计算图概览
1.计算图介绍
2.计算图中的连式法则
3.参数共享
4.计算图在神经网络中例子
Part Two.循环神经网络
一、为什么需要RNN
二、循环神经网络的定义
1.RNN的一般结构
2.RNN不同的输入输出结构
3.RNN的训练算法BPTT
Part Three.长短时记忆网络LSTM
一、RNN的梯度消失问题
1.LSTM的提出
2.LSTM的基本结构
Part Four.其它典型循环神经网络
一、Gated Recurrent Unit （GRU）
二、Peephole LSTM
三、 Bi-directional RNN（双向RNN）
Part Five.循环神经网络的主要应用
一、语言模型
二、语音识别
三、自动作曲
四、机器翻译
五、自动摘要
六、自动写作
七、图像描述
Part Six.中英文术语对照
Part One.计算图
一、计算图概览
1.计算图介绍
计算图是描述计算结构的一种图
计算图的元素包括节点和边：
▲节点：表示变量，可以是标量、矢量、张量等
▲边：表示操作(函数)
计算图中的单变量、多变量及复合函数：
2.计算图中的连式法则
计算图中的连式法则：就是如何利用计算图进行求导，分为两种情况
Case1.如果从一个节点到另一个节点只有一条路径
变量
经过函数
的映射得到
：
；所以
对
的导数是
变量
经过函数
的映射得到
；所以
所以
的导数是
规律：两个节点之间的导数=
(该条路径上每两个相邻节点的导数 )
Case2.如果从一个节点到另一个节点有多条路径
路径1.
变量
经过函数
的映射得到
；所以
变量
的映射得到
；所以
所以
路径2.
变量
的映射得到
：
；所以
变量
；所以
所以
所以
规律：两个节点之间的导数=
求导示例：
3.参数共享
例：一共9条路径，如果按照上面的方式分别算每一条路径，最后在相乘，这样会很复杂，分两部分计算会更加简单
前后向示例：
（疑问：这张图没有看明白）
4.计算图在神经网络中例子
以交叉熵作为衡量0/1分类模型的损失函数
表示估计出来的不同类别的概率，
是一个向量，不同类别都会有一个概率
是类别标签的0/1值组成的向量，例：
是损失函数
对
求导，是标量对向量的求导，相当于该标量对向量中的每一个元素求导，损失函数是一个值
，求导以后其他元素值是0，只有对
求导得到
是
对激活函数
求导，是向量对向量的求导，
向量中的第
行对
向量中的第
列求导，求导结果构成一个矩阵
会涉及向量对矩阵求导
粉色的线最终算出来的是损失函数对
的求导
紫色的线最终算出来的是损失函数对
的求导
Part Two.循环神经网络
一、为什么需要RNN
CNN已经取得了巨大的成功，但是我们为森么还需要RNN呢？因为人工的神经网络和CNN他们对数据的处理都是相互独立的，输入的数据是一个个相互之间是独立的，并没有考虑在很多的应用中数据之间会存在上下文关系，例如序列性的数据，数据与数据之间会存在相关性；例如一句话中一个词和前面的词之间就会存在这种相关性。
下面的序列数据建模就是需要用RNN来处理的序列数据
下面的这个例子中，同样的词语购物，在不同的句子中表现的词性是不同的，用CNN实际上也是可以训练的，但是计算复杂度极其高，而且扩展性很不好，所以人们提出了RNN，高效的处理这种序列数据，帮助人们提高预测的性能。
二、循环神经网络的定义
循环神经网络是一种人工神经网络，它的节点间的连接形成一个遵循时间序列的有向图。核心思想是样本间存在顺序关系，每个样本和它之前的样本存在关联。通过神经网络在时序上的展开，我们能够找到样本之间的序列相关性。
1.RNN的一般结构
紫色圈出的部分表示把上一时刻的状态传递到下一时刻
是
第四章：循环神经网络相关推荐
- 第四章 前馈神经网络
第四章 前馈神经网络 第四章 前馈神经网络 神经元 Sigmoid 型函数 Logistic函数 Tanh函数 Hard-Logistic 函数和 Hard-Tanh 函数 ReLU 函数 带泄露的 ...
- 《Scikit-Learn与TensorFlow机器学习实用指南》第14章 循环神经网络
第14章 循环神经网络 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@akonwang @alexcheen @飞龙 校对:@飞龙 ...
- 深度学习入门（六十四）循环神经网络——编码器-解码器架构
深度学习入门(六十四)循环神经网络--编码器-解码器架构 前言 循环神经网络--编码器-解码器架构 课件 重新考察CNN 重新考察RNN 编码器-解码器架构 总结 教材 1 编码器 2 解码器 3 合 ...
- 曹健老师 TensorFlow2.1 —— 第六章 循环神经网络
第一章 第二章 第三章 第四章 第五章 本章目的:用 RNN 实现连续数据的预测 ( 以股票预测为例 ). 6.1 循环核 循环核:具有记忆力,通过不同时刻的参数共享,实现了对时间序列的信息提取.循环 ...
- c语言第四章循环程序设计,C语言程序设计教程第4章-循环结构程序设计
<C语言程序设计教程第4章-循环结构程序设计>由会员分享,可在线阅读,更多相关<C语言程序设计教程第4章-循环结构程序设计(42页珍藏版)>请在人人文库网上搜索. 1.C语言程 ...
- 深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
目录 一.RNN简介 (一).简介 (二).RNN处理任务示例--以NER为例 二.模型提出 (一).基本RNN结构 (二).RNN展开结构 三.RNN的结构变化 (一).N to N结构RNN模型 ...
- TensorFlow 2.0深度学习算法实战教材---第11章 循环神经网络
人工智能的强力崛起,可能是人类历史上最好的事情,也可能是最糟糕的事情.−史蒂芬•霍金 卷积神经网络利用数据的局部相关性和权值共享的思想大大减少了网络的参数量,非常适合于图片这种具有空间(Spatial ...
- 第二十四课.循环神经网络RNN
目录 朴素RNN与LSTM 从NN到RNN RNN结构 LSTM RNN的扩展模型 多层RNN 双向RNN 递归网络Recursive Network 注意:本篇是RNN的内容补充,关于RNN模型和B ...
- 非监督特征学习与深度学习（十四）--------循环神经网络
注:本文转载自https://github.com/exacity/simplified-deeplearning/blob/master/%E5%BE%AA%E7%8E%AF%E9%80%92%E5 ...
- 《机器学习》第四章 人工神经网络 深度学习启蒙篇
神经网络是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术. 本文以一种简单的,循序的方 ...
最新文章
- 重磅：2019年全国普通高校学科竞赛排行榜出炉！
- 没有“好的”数据，AI就没有未来？听听云测数据怎么说
- centos7安装ftp_python 编译安装
- Java基础day18
- Echarts给坐标轴添加自定义属性
- MySQL Fabric 实践
- 凯度信息之美奖揭晓，数据可视化后有多“性感”？
- [Java] 蓝桥杯ADV-158 算法提高 新建Microsoft Word文档
- Parcelbale接口
- Python 练习005 ——疯狂填词程序
- [渝粤教育] 北京化工大学 自然辩证法概论 参考 资料
- RxSwift学习（一） --- RxSwift介绍
- 采购申请PR和采购订单PO的关系
- linux计算机连接PEAP企业网的wi-fi
- RDIFramework.NET 框架之组织机构权限设置
- `Supimo` 历史,人文,哲学,人物,摘录
- 奈雪的茶“快跑”，喜茶“慢行”
- 使用numpy数组索引方法获取指定行列位置的数值内容
- svn修改提交日志信息
- 菜鸟级别批处理命令IF~ELSE语法问题
热门文章
- 华为p20pro快捷计算机,华为P20/P20 Pro秒变电脑，只需一条绿联Type C连接线
- “软件中国2006年度风云榜”获奖名单隆重揭晓
- OpenMP共享内存并行编程详解
- vpython 贞测碰撞_球碰撞vPython问题
- xadmin报cannot import name ‘DEFAULT_FORMATS‘ from ‘import_export.admin‘/cannot import name ‘SKIP_ADMI
- Doris系列1-Doris介绍
- WebRTC实现多人视频聊天之客户端设计
- unity音乐计算机谱子,Unity钢琴简谱-数字双手-Alan Walker
- 红警战网地图下载 红警地图库下载 红警战网客户端地图库地图下载
- IoT物联网平台-Doc1