深度学习 -- TensorFlow（9）循环神经网络RNN
目录
一、循环神经网络RNN介绍
二、Elman network && Jordan network
三、RNN的多种架构
1、一对一
2、多对一
3、多对多
4、 一对多
5、Seq2Seq
四、传统RNN的缺点
一、循环神经网络RNN介绍
循环神经网络 RNN 的基本结构是 BP 网络的结构，也是有输入层，隐藏层和输出层。只不过在 RNN 中隐藏层的输出不仅可以传到输出层，并且还可以传给下一个时刻的隐藏层。
例：有一个句子是“我爱你”，那么先把句子做分词得到“我”，“爱”，“你”三个词，然后依次把这三个词输入到网络中。那么表示的信号。而到 “我”，“爱”，“你”这三个词的词性。
二、Elman network && Jordan network
公式：
Elman network：
Jordan network：
Elman network会更常用一些。
三、RNN的多种架构
1、一对一
2、多对一
3、多对多
4、 一对多
5、Seq2Seq
Seq2Seq（Sequence to Sequence）：序列到序列模型（算是多对多架构）。
seq2seq作用：
四、传统RNN的缺点
传统RNN的缺点：梯度消失。
梯度消失：关于梯度消失的问题。就是模型计算得到的误差信号从输出层不断向前传播，以此来调整前面层的权值，使得模型的性能越来越好。但是由于误差信号在每次传递的时候都需要乘以激活函数的导数，当激活函数的导数取值范围是 0-1 之间时，会使得误差信号越传越小，最终趋近于0。RNN中的梯度消失：这个梯度消失的问题在 RNN 中同样存在，RNN 的序列结构展开之后也可以看成是有很多的“层”，在计算误差信号的时候同样会出现梯度消失的问题，使得网络输出的学习信号只能影响到它前面的几层，对它前面的几层的权值进行调节。
例：
RNN成功例子：
RNN失败例子：
深度学习 -- TensorFlow（9）循环神经网络RNN相关推荐
- 「NLP」 深度学习NLP开篇-循环神经网络(RNN)
https://www.toutiao.com/a6714260714988503564/ 从这篇文章开始,有三AI-NLP专栏就要进入深度学习了.本文会介绍自然语言处理早期标志性的特征提取工具-循环 ...
- 【NLP】 深度学习NLP开篇-循环神经网络(RNN)
从这篇文章开始,有三AI-NLP专栏就要进入深度学习了.本文会介绍自然语言处理早期标志性的特征提取工具-循环神经网络(RNN).首先,会介绍RNN提出的由来:然后,详细介绍RNN的模型结构,前向传播和 ...
- [人工智能-深度学习-48]：循环神经网络 - RNN是循环神经网络还是递归神经网络？
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客 本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
- [人工智能-深度学习-52]：循环神经网络 - RNN的缺陷与LSTM的解决之道
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客 本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
- 深度学习 实验七 循环神经网络
文章目录 深度学习 实验七 循环神经网络 一.问题描述 二.设计简要描述 三.程序清单 深度学习 实验七 循环神经网络 一.问题描述 之前见过的所以神经网络(比如全连接网络和卷积神经网络)都有一个主要 ...
- 《深度学习》之 循环神经网络 原理 超详解
循环神经网络 一.研究背景 1933年,西班牙神经生物学家Rafael Lorente de Nó发现大脑皮层(cerebral cortex)的解剖结构允许刺激在神经回路中循环传递,并由此提出反响回 ...
- 深度学习TensorFlow2，循环神经网络（RNN，LSTM）系列知识
一:概述 二:时间序列 三:RNN 四:LSTM 一:概述 1.什么叫循环? 循环神经网络是一种不同于ResNet,VGG的网络结构,个人理解最大的特点就是:它通过权值共享,极大的减少了权值的参数量. ...
- 《动手学深度学习》task3_3 循环神经网络进阶
目录 GRU GRU 重置门和更新门 候选隐藏状态 隐藏状态 GRU的实现 载入数据集 初始化参数 GRU模型 训练模型 简洁实现 LSTM 长短期记忆 输入门.遗忘门和输出门 候选记忆细胞 记忆细胞 ...
- 深度学习-Tensorflow2.2-RNN循环神经网络{11}-评论分类-25
什么是RNN? 代码 import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline import numpy a ...
- 使用深度学习中的循环神经网络（LSTM）进行股价预测
tushare ID:468684 一.开发环境: 操作系统:Windows10 开发工具:PyCharm 2021.1.1 (Professional Edition) Python版本:Pytho ...
最新文章
- eclipse中使用javap分析java代码备忘
- jsp 下拉列表选取触发function_Bootstrap下拉菜单样式
- PHP函数操作数组（集合贴）
- ionic3 前台时间戳转化成日期问题
- vscode推荐编程字体
- PR菜鸟入门 -- PR下载安装
- ERP项目组成员及各项目组职责
- c语言程序网吧管理,C语言网吧计费系统(小项目).doc
- github上比较好用的第三方库
- C - Quick Sort (one of the simplest)
- dPCA 二面角主成分分析
- 二分查找法和Fibonacci查找
- 汉字 Unicode 编码范围
- ps切图（6）——参考线及辅助
- manor的博客导航，大数据の蜕变之路
- php exec和query,exec和php之间的区别
- 重庆12岁男孩大毛带着7岁半的弟弟小毛逃学，跑到山里呆了13天
- type definition error
- 这家要上市的独角兽应该是今年最没面子的独角兽了
- An error occurred while loading navigation: Invalid UTF-8 string in BSON document的问题解决