Keras Recurrent Layers 解析
2024-06-17 01:15:46
GRU
keras.layers.recurrent.GRU(input_dim, output_dim=128, init='glorot_uniform', inner_init='orthogonal', activation='sigmoid', inner_activation='hard_sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)Gated Recurrent Unit - Cho et al. 2014.
- 输入形状：3D 张量：
(nb_samples, timesteps, input_dim). - 输出形状：
- 如果
return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim). - 否则：2D 张量形如：
(nb_samples, output_dim).
- 如果
- 参数：
- input_dim：输入的维数
- output_dim：内部投影的维数和最终输出的维数
- init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- inner_init：对内部元件的权重初始化函数
- activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- inner_activation：内部元件的激活函数
- weights：numpy 数组的列表用以设置初始权重。这个列表应该有 9 个元素
- truncate_gradient：BPTT 的截断时间步。参见：Theano scan
- return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。
- References:
- On the Properties of Neural Machine Translation: Encoder–Decoder Approaches
- Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
LSTM
keras.layers.recurrent.LSTM(input_dim, output_dim=128, init='glorot_uniform', inner_init='orthogonal', forget_bias_init='one', activation='tanh', inner_activation='hard_sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)Long Short-Term Memory unit - Hochreiter et al. 1997
- 输入形状：3D 张量：
(nb_samples, timesteps, input_dim). - 输出形状：
- 如果
return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim). - 否则：2D 张量形如：
(nb_samples, output_dim).
- 如果
- 参数：
- input_dim：输入的维数
- output_dim：内部投影的维数和最终输出的维数
- init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- inner_init：对内部元件的权重初始化函数
- forget_bias_init：用作遗忘门的偏差初的始函数。Jozefowicz 等人推荐使用 1 来初始化
- activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- inner_activation：内部元件的激活函数
- weights：numpy 数组的列表用以设置初始权重。这个列表应该有 9 个元素
- truncate_gradient：BPTT 的截断时间步。参见：Theano scan
- return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。
- References:
- Long short-term memory
- Learning to forget: Continual prediction with LSTM
- Supervised sequence labelling with recurrent neural networks
JZS1, JZS2, JZS3
keras.layers.recurrent.JZS1(input_dim, output_dim=128, init='glorot_uniform', inner_init='orthogonal', activation='tanh', inner_activation='sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)全连接的 RNN 其中输出被重回输入。不是特别有用，仅供参考。
- 输入形状：3D 张量：
(nb_samples, timesteps, input_dim). - 输出形状：
- 如果
return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim). - 否则：2D 张量形如：
(nb_samples, output_dim).
- 如果
- 参数：
- input_dim
- output_dim
- init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- inner_init：内部元件的初始化的函数
- activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- weights：numpy 数组的列表用以设置初始权重。这个列表应该有 3 个元素，形如：
[(input_dim, output_dim), (output_di,, output_dim), (output_dim, )] - truncate_gradient：BPTT 的截断时间步。参见：Theano scan
- return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。
- 参考文献：
An Empirical Exploration of Recurrent Network Architectures
SimpleDeepRNN
keras.layers.recurrent.SimpleDeepRNN(input_dim, output_dim, depth=3, init='glorot_uniform', inner_init='orthogonal', activation='sigmoid', inner_activation='hard_sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)全连接的 RNN 其中多个时间步的输出重回输入中（使用 depth 参数来控制步数）。
output = activation( W.x_t + b + inner_activation(U_1.h_tm1) + inner_activation(U_2.h_tm2) + ... )也不是常用的模型，仅供参考。
- 输入形状：3D 张量：
(nb_samples, timesteps, input_dim). - 输出形状：
- 如果
return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim). - 否则：2D 张量形如：
(nb_samples, output_dim).
- 如果
- 参数：
- input_dim
- output_dim
- init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- inner_init：对内部元件的权重初始化函数
- activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
- inner_activation：内部元件的激活函数
- weights：numpy 数组的列表用以设置初始权重。这个列表应该有 3 个元素，形如：
[(input_dim, output_dim), (output_di,, output_dim), (output_dim, )] - truncate_gradient：BPTT 的截断时间步。参见：Theano scan
- return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。
Keras Recurrent Layers 解析相关推荐
- yolov3 python_Python 3 Keras YOLO v3解析与实现
YOLOv3在YOLOv2的基础进行了一些改进,这些更改使其效果变得更好. 在320×320的图像上,YOLOv3运行速度达到了22.2毫秒,mAP为28.2.其与SSD一样准确,但速度快了三倍,具体 ...
- Keras Adam代码解析以及EMA的Adam优化器
文章目录 Keras Adam 初始化 更新函数 带EMA的Adam Adam理论可以参考下这里 优化算法的选择 Keras Adam class Adam(Optimizer):"&quo ...
- ####Python 3 Keras YOLO v3解析与实现
YOLOv3在YOLOv2的基础进行了一些改进,这些更改使其效果变得更好. 在320×320的图像上,YOLOv3运行速度达到了22.2毫秒,mAP为28.2.其与SSD一样准确,但速度快了三倍,具体 ...
- Python 3 Keras YOLO v3解析与实现
YOLOv3在YOLOv2的基础进行了一些改进,这些更改使其效果变得更好.其与SSD一样准确,但速度快了三倍,具体效果如下图.本文对YOLO v3的改进点进行了总结,并实现了一个基于Keras的YOL ...
- 【Keras】减少过拟合的秘诀——Dropout正则化
摘要: Dropout正则化是最简单的神经网络正则化方法.阅读完本文,你就学会了在Keras框架中,如何将深度学习神经网络Dropout正则化添加到深度学习神经网络模型里. Dropout正则化是最简 ...
- tensorflow tf.keras.layers tf.image 图像增强
import matplotlib.pyplot as plt import numpy as np import tensorflow as tf import tensorflow_dataset ...
- How to Visualize Your Recurrent Neural Network with Attention in Keras
Neural networks are taking over every part of our lives. In particular - thanks to deep learning - S ...
- tf.keras下常用模块 activations、applications、datasets、layers、losses、optimizers、regularizers、Sequential
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 1.activations:tf.keras.activati ...
- keras教程-静态图编程框架keras-学习心得以及知识点总结
在过去的四个月里(2020三月开始的),和朋友一起对着官网的keras教程学习了一遍,学习的过程中发现有一些解释的不清楚的地方(官网的教程实在是~~~),我们自己做了实验,探索了问题的各个角落以及每个 ...
最新文章
- Linux最大打开文件描述符数
- 程序的记事本--log4net
- [转]bootstrap table 动态列数
- 万里目联合网易云信 引领奢侈品电商新风潮
- Xamarin效果第四篇之CollectionView子项右侧布局
- 写给80后，我们的人生才刚刚开始
- Enterprise Spring示例和集成测试
- t-sne原理解释_T-SNE解释-数学与直觉
- 互联网晚报 | 1月11日 星期二 | 恒大集团退租深圳总部大楼；荣耀发布首款折叠旗舰手机；虎牙拿下5年LPL独播权...
- Asp.net+Jquery实现用户信息异步验证
- FFMPEG 图像拉伸缩放及数据格式转换
- day33 java的注解
- kill killall pkill 的区别
- 用树莓派控制WS2812圣诞树灯饰
- 鼠标悬浮标签显示提示内容
- TStrings和TStringLists类(经典有时间整理做个小例子)
- [存]超酷JS拖拽翻页效果
- Linux特殊权限set_uid、set_gid、stick_bit命令和软链接文件、硬连接文件
- python爬虫练习--爬上海法院开庭公告信息
- ESP32学习6：I2C总线