《How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python》学习笔记

跟随大神Jason Brownlee, Ph.D学习Deep Learning.

《How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python》原文地址点击打开链接

这篇文章是关于LSTM用于sequence prediction（n个time step的input，对应n个time step的output ）的；

LSTM也可以用于classification(n个time step的input，对应1个的output )，还有更复杂的sequence-to-sequence 任务，这两个任务不在此文讨论之列。

这篇文章设计了三种LSTM用于sequence prediction的Keras实现架构,其中，最后受推荐的当然是many-to-many LSTM架构。

1. One-to-One LSTM for Sequence Prediction

1）这是最直观和最简单的思路，输入数据的格式中X的time step=1，所以无法利用BPTT的时间记忆。

X = seq.reshape(5, 1, 1)
y = seq.reshape(5, 1)

2）LSTM的单元数n_neurons与输入数据的长度是无关的，这里值5是巧合。

3）“The batch size was set to the number of samples in the epoch to avoid having to make the LSTM stateful and manage state resets manually”，所以意味着每个batch之间会自动做state resets。

2. Many-to-One LSTM for Sequence Prediction

1) 输出层比较奇特，“output one vector”， vector的长度与输入数据相同。

Jason关于这个架构的评论是“We can configure an MLP or LSTM to output a vector. For an LSTM, if we output a vector of n values for one time step, each output is considered by the LSTM as a feature, not a time step. Thus it is a many-to-one architecture. The vector may contain timesteps, but the LSTM is not outputting time steps, it is outputting features.”

3. Many-to-Many LSTM for Sequence Prediction

1) 在最新的keras上，似乎也不需要TimeDistributed层了，“ it seems that Dense can now support 3D input without the wrapper.” 。

以前TimeDistributed的作用是因为：

“Without the TimeDistributed wrapper, the Dense is connected to the output from each time step. With the wrapper, the same Dense is applied to each time step.”

《How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python》学习笔记相关推荐

第二行代码学习笔记——第六章:数据储存全方案——详解持久化技术
本章要点任何一个应用程序,总是不停的和数据打交道. 瞬时数据:指储存在内存当中,有可能因为程序关闭或其他原因导致内存被回收而丢失的数据. 数据持久化技术,为了解决关键性数据的丢失. 6.1 持久化技 ...
第一行代码学习笔记第二章——探究活动
知识点目录 2.1 活动是什么 2.2 活动的基本用法 2.2.1 手动创建活动 2.2.2 创建和加载布局 2.2.3 在AndroidManifest文件中注册 2.2.4 在活动中使用Toast ...
第一行代码学习笔记第八章——运用手机多媒体
知识点目录 8.1 将程序运行到手机上 8.2 使用通知 * 8.2.1 通知的基本使用 * 8.2.2 通知的进阶技巧 * 8.2.3 通知的高级功能 8.3 调用摄像头和相册 * 8.3.1 调用 ...
第一行代码学习笔记第六章——详解持久化技术
知识点目录 6.1 持久化技术简介 6.2 文件存储 * 6.2.1 将数据存储到文件中 * 6.2.2 从文件中读取数据 6.3 SharedPreferences存储 * 6.3.1 将数据存储到 ...
第一行代码学习笔记第三章——UI开发的点点滴滴
知识点目录 3.1 如何编写程序界面 3.2 常用控件的使用方法 * 3.2.1 TextView * 3.2.2 Button * 3.2.3 EditText * 3.2.4 ImageView ...
第一行代码学习笔记第十章——探究服务
知识点目录 10.1 服务是什么 10.2 Android多线程编程 * 10.2.1 线程的基本用法 * 10.2.2 在子线程中更新UI * 10.2.3 解析异步消息处理机制 * 10.2.4 ...
第一行代码学习笔记第七章——探究内容提供器
知识点目录 7.1 内容提供器简介 7.2 运行权限 * 7.2.1 Android权限机制详解 * 7.2.2 在程序运行时申请权限 7.3 访问其他程序中的数据 * 7.3.1 ContentRe ...
第一行代码学习笔记第五章——详解广播机制
知识点目录 5.1 广播机制 5.2 接收系统广播 * 5.2.1 动态注册监听网络变化 * 5.2.2 静态注册实现开机广播 5.3 发送自定义广播 * 5.3.1 发送标准广播 * 5.3.2 发 ...
第一行代码学习笔记第九章——使用网络技术
知识点目录 9.1 WebView的用法 9.2 使用HTTP协议访问网络 * 9.2.1 使用HttpURLConnection * 9.2.2 使用OkHttp 9.3 解析XML格式数据 * 9 ...
安卓教程----第一行代码学习笔记
安卓概述系统架构 Linux内核层,还包括各种底层驱动,如相机驱动.电源驱动等系统运行库层,包含一些c/c++的库,如浏览器内核webkit.SQLlite.3D绘图openGL.用于java运行 ...

《How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python》学习笔记

《How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python》学习笔记相关推荐

最新文章

热门文章