【Deep Learning笔记】循环神经网络
文章目录
- 循环神经元（Recurrent Neuron）
- 循环神经网络（RNN）
- 消失梯度问题（Vanishing Gradient Problem）
- 激增梯度问题（Exploding Gradient Problem）
循环神经元（Recurrent Neuron）
循环神经元是在T时间内将神经元的输出发送回给它。如果你看图，输出将返回输入t次。展开的神经元看起来像连接在一起的t个不同的神经元。这个神经元的基本优点是它给出了更广义的输出。
循环神经网络（RNN）
循环神经网络特别用于顺序数据，其中先前的输出用于预测下一个输出。在这种情况下，网络中有循环。隐藏神经元内的循环使他们能够存储有关前一个单词的信息一段时间，以便能够预测输出。隐藏层的输出在t时间戳内再次发送到隐藏层。展开的神经元看起来像上图。只有在完成所有的时间戳后，循环神经元的输出才能进入下一层。发送的输出更广泛，以前的信息保留的时间也较长。
然后根据展开的网络将错误反向传播以更新权重。这被称为通过时间的反向传播（BPTT）。
消失梯度问题（Vanishing Gradient Problem）
激活函数的梯度非常小的情况下会出现消失梯度问题。在权重乘以这些低梯度时的反向传播过程中，它们往往变得非常小，并且随着网络进一步深入而“消失”。这使得神经网络忘记了长距离依赖。这对循环神经网络来说是一个问题，长期依赖对于网络来说是非常重要的。
这可以通过使用不具有小梯度的激活函数ReLu来解决。
激增梯度问题（Exploding Gradient Problem）
这与消失的梯度问题完全相反，激活函数的梯度过大。在反向传播期间，它使特定节点的权重相对于其他节点的权重非常高，这使得它们不重要。这可以通过剪切梯度来轻松解决，使其不超过一定值。
【Deep Learning笔记】循环神经网络相关推荐
- 【Deep Learning笔记】神经网络基础
文章目录 1.神经元(Neuron) 2.权重(Weights) 3.偏差(Bias) 4.激活函数(Activation Function) 1.神经元(Neuron) 就像形成我们大脑基本元素的神 ...
- 【Deep Learning笔记】神经网络的优化解读（看不懂你来打我~！）
文章目录 1 激活函数 1.1 sigmoid 1.2 tanh 1.3 ReLU函数 1.4 ReLU函数的变种 2 Dropout 2.1 原理 2.2 实验 2.3 作者重点分析的一些特点 1 ...
- 《学习geometric deep learning笔记系列》第一篇，Non-Euclidean Structure Data之我见
<学习geometric deep learning笔记系列>第一篇,Non-Euclidean Structure Data之我见 FesianXu at UESTC 前言 本文是笔者在 ...
- Deep learning笔记
Deep learning:一(基础知识_1) 出处:http://www.cnblogs.com/tornadomeet 欢迎转载或分享,但请务必声明文章出处. 前言: 最近打算稍微系统的学习下de ...
- NLP学习笔记-循环神经网络RNN、情感分类、LSTM（二）
循环神经网络和自然语言处理介绍 1. 文本的tokenization 1.1 概念和工具的介绍 tokenization就是通常所说的分词,分出的每一个词语我们把它称为token. 常见的分词工具很多 ...
- 深度学习笔记——循环神经网络RNN/LSTM
原文来自知乎专栏NLP进阶之路,作者韦伟. 以下文章是摘录了原文部分内容的学习笔记,侵删. 循环神经网络(Rerrent Neural Network) RNN是神经网络的一种,RNN对具有序列特性的 ...
- 吴恩达Deep learning笔记（一）
Welcome to Deep learning Specialization 介绍了深度学习目前的发展状况以及未来的前景 Introdcution to Deep Learning what'is ...
- 葫芦书笔记----循环神经网络（RNN）
循环神经网络 循环神经网络(RNN)是用来建模序列化数据的一种主流深度学习模型. ##循环神经网络和卷积神经网络 速记:循环圣经网络可以很好地处理文本数据变长并且有序的输入序列 详细:RNN可以将前面 ...
- neural network and deep learning笔记（1）
neural network and deep learning 这本书看了陆陆续续看了好几遍了,但每次都会有不一样的收获.DL领域的paper日新月异,每天都会有很多新的idea出来,我想,深入阅读 ...
最新文章
- 基于Adaboost算法的人脸检测分类器！
- 再理下系统分层架构模式
- python字典教程：添加与删除
- 程序员面试系列——选择排序
- springboot参数检验，Assert使用
- Android 软键盘弹出时把原来布局顶上去的解决方法
- Leetcode445 两数相加||（单链表）
- springboot_poi思路
- MySQL(8)-----truncate清空表和字段自增
- 数码大师2013破解补丁|数码大师2013白金版注册破解补丁下载(附数码大师2013白金版注册码)
- 会议平板一体机常见触摸屏幕故障分析与解决
- 央企整体上市进程加快 掘金央企重组股
- ARM嵌入式学习——多进程/线程
- G31主板支持1440*900分辨率
- 大数据应用场景”之隔壁老王（连载二）
- SimpleBGC三轴云台用户手册
- C语言：开平方判断素数
- Google Drive资源下载（附DPED dataset百度云链接）
- A_A03_007 CH32串口软件安装与CH32程序串口下载
- 东澳岛叹海胆之旅 面朝大海一起大快朵颐