第14章 循环神经网络

来源:ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目

译者:@akonwang @alexcheen @飞龙

校对:@飞龙

击球手击出垒球,你会开始预测球的轨迹并立即开始奔跑。你追踪着它,不断调整你的移动步伐,最终在观众的一片雷鸣声中抓到它。无论是在听完朋友的话语还是早餐时预测咖啡的味道,你时刻在做的事就是在预测未来。在本章中,我们将讨论循环神经网络 – 一类预测未来的网络(当然,是到目前为止)。它们可以分析时间序列数据,诸如股票价格,并告诉你什么时候买入和卖出。在自动驾驶系统中,他们可以预测行车轨迹,避免发生交通意外。更一般地说,它们可在任意长度的序列上工作,而不是截止目前我们讨论的只能在固定长度的输入上工作的网络。举个例子,它们可以把语句,文件,以及语音范本作为输入,使得它们在诸如自动翻译,语音到文本或者情感分析(例如,读取电影评论并提取评论者关于该电影的感觉)的自然语言处理系统中极为有用。

更近一步,循环神经网络的预测能力使得它们具备令人惊讶的创造力。你同样可以要求它们去预测一段旋律的下几个音符,然后随机选取这些音符的其中之一并演奏它。然后要求网络给出接下来最可能的音符,演奏它,如此周而复始。在你知道它之前,你的神经网络将创作一首诸如由谷歌 Magenta 工程所创造的《The one》的歌曲。类似的,循环神经网络可以生成语句,图像标注以及更多。目前结果还不能准确得到莎士比亚或者莫扎特的作品,但谁知道几年后他们能生成什么呢?

在本章中,我们将看到循环神经网络背后的基本概念,他们所面临的主要问题(换句话说,在第11章中讨论的消失/爆炸的梯度),以及广泛用于反抗这些问题的方法:LSTM 和 GRU cell(单元)。如同以往,沿着这个方式,我们将展示如何用 TensorFlow 实现循环神经网络。最终我们将看看及其翻译系统的架构。

阅读全文

《Scikit-Learn与TensorFlow机器学习实用指南》第14章 循环神经网络相关推荐

  1. 【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章 训练深层神经网络(中)...

    梯度裁剪 减少梯度爆炸问题的一种常用技术是在反向传播过程中简单地剪切梯度,使它们不超过某个阈值(这对于递归神经网络是非常有用的:参见第 14 章). 这就是所谓的梯度裁剪.一般来说,人们更喜欢批量标准 ...

  2. 《Scikit-Learn与TensorFlow机器学习实用指南》第9章 启动并运行TensorFlow

    第9章 启动并运行TensorFlow 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@akonwang @WilsonQu 校对:@ ...

  3. Sklearn 与 TensorFlow 机器学习实用指南(补档)

    协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远 ApacheCN - 机器学习交流群 629470233 ApacheCN 学习资源 利用 P ...

  4. 《Sklearn 与 TensorFlow 机器学习实用指南》 第6章 决策树

    来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@Lisanaaa @y3534365 校对:@飞龙 和支持向量机一样, 决策树是一种多 ...

  5. 《Scikit-Learn与TensorFlow机器学习实用指南》第16章 强化学习

    第16章 强化学习 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@friedhelm739 校对:@飞龙 强化学习(RL)如今是机器 ...

  6. 《Scikit-Learn与TensorFlow机器学习实用指南》第10章 人工神经网络介绍

    第10章 人工神经网络介绍 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@akonwang @friedhelm739 校对:@飞龙 ...

  7. 《Scikit-Learn与TensorFlow机器学习实用指南》第11章 训练深层神经网络

    第11章 训练深层神经网络 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@akonwang @飞龙 校对:@飞龙 @Zeyu Zho ...

  8. 《Scikit-Learn与TensorFlow机器学习实用指南》第4章 训练模型

    第4章 训练模型 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@C-PIG 校对:@PeterHo @飞龙 在之前的描述中,我们通常 ...

  9. 《Scikit-Learn与TensorFlow机器学习实用指南》第5章 支持向量机

    第5章 支持向量机 来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实用指南>翻译项目 译者:@QiaoXie 校对:@飞龙 支持向量机(SVM)是个非常强大并且 ...

最新文章

  1. 【C++】C++11 STL算法(三):分隔操作(Partitioning operations)、排序操作(Sorting operations)
  2. ADO.NET连接SQL Server数据库
  3. java 静态类 new_java静态类new的对象是否能被回收?
  4. BERT论文阅读(二): CG-BERT:Conditional Text Generation with BERT for Generalized Few-shot Intent Detection
  5. linux开发板蓝牙连接,开发板蓝牙通信问题,有这方面经验的请进
  6. 从零开始入门 K8s | GPU 管理和 Device Plugin 工作机制
  7. 铁路 12306 网站否认发生用户信息泄漏
  8. python+robotframework_python+robot framework接口自动化测试
  9. 计算机机器人方向,计算机考研想学习智能机器人方向都有那几个学校呢..._考研_帮考网...
  10. 2016-11-18(2)(Unity相关)---脚本基础
  11. Ngnix安装的几种常用方式
  12. 超大图上的节点表征学习
  13. BeginInvoke之前检测句柄
  14. ElasticSearch Client详解
  15. hdu6715 算术 2019百度之星初赛3-1003
  16. ai png转矢量图_Boxy SVG for Mac(矢量图编辑器)
  17. OpenSSL 用SM3算法进行hash
  18. 资产标签二维码方案设计
  19. 方法论-5W2H七问分析法
  20. python图片修复软件下载_python实现的jpg格式图片修复代码

热门文章

  1. python闯关游戏,Python挑战游戏( PythonChallenge)闯关之路Level 0
  2. 怎么给水平线设置高度HTML,设置水平线高度的HTML代码是()。
  3. iPhone和Android的区别,从警示框看iPhone与Android的区别
  4. 频繁gc是什么意思_[JVM]一次线上频繁GC的问题解决
  5. 基于ARM IP的看门狗设计与功能验证
  6. 1000以内所有同构数java算法_使用c语言求1到1000同构数的代码
  7. Uboot 启动流程分析
  8. 移除string的最后一个字符几种方法
  9. 数据结构----排序
  10. 把数字随机分成 php,php随机数 微信随机生成红包金额算法php版