图解LSTM神经网络架构及其11种变体（附论文）

来源：机器之心

英文原文：Deep learning architecture diagrams
参与：老红、李亚洲
原文链接：图解LSTM神经网络架构及其11种变体（附论文）
本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载

就像雨季后非洲大草原许多野生溪流分化成的湖泊和水洼，深度学习已经分化成了各种不同的专门架构。

并且，每个架构都会有一个图解，这里将详细介绍它们。

神经网络在概念上很简单，并且它们十分动人。在层级上，有着一堆同质化的元素和统一的单位，并且它们之间还存在在一系列的加权连接。这就是神经网络的所有，至少从理论上来说是这样。然而，时间证明的结果却有所不同。并非工程的特性，我们现在拥有的是建筑工程，而非工程的特性，正如 Stephen Merrity 描述的那样：

深度学习的浪漫主义描述通常预示着手工制作工程特性的日子一去不复返了，这个模型的本身是足以先进到能够解决问题的。正如大多数广告一样，它同时具备真实性和误导性。

虽然深度学习在很多情况下简化了工程特性，但它肯定还没有彻底地摆脱它。随着工程特性的减少，机器学习模型本身的结构变得越来越复杂。大多数时候，这些模型架构会特定于一个给定的任务，就像过去的工程特性那样。

需要澄清一下的是，这仍然是很重要的一步。结构工程要比工程特性更具一般性，并且提供了许多新的机会。正如我们提到的，我们不能无视这样一个事实：我们离我们想要达到的还很远。

LSTM 图解

怎样解释这些架构？自然地，我们可以通过图解，图解往往可以让阐述变得更清晰。

让我们先来看看如今最流行的两种网络，CNN 和 LSTM：

很简单吧，我们再更仔细地研究下：

正如大家所言，你可能有很多不理解的数学问题，但你会慢慢习惯它们。幸运地是，我们有很多非常好的解释。

仍觉得 LSTM 太复杂了？那让我们来试试简单的版本，GRU (Gated Recurrent Unit)，相当琐碎。

尤其是这一个，被称为 minimal GRU：

更多图解

LSTM 个多各样的变体如今很常见。下面就是一个，我们称之为深度双向 LSTM：

DB-LSTM（参见论文：End-to-end Learning of Semantic Role Labeling Using Recurrent Neural Networks ）

剩下的也不需要加以过多说明。让我们从 CNN 和 LSTM 的结合开始说起：

卷积残差记忆网络（参见论文：Convolutional Residual Memory Networks）

动态 NTM（参见论文：Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes）

可发展神经图灵机（参见论文：Evolving Neural Turing Machines for Reward-based Learning）

视觉注意的循环模型（参见论文：Recurrent Models of Visual Attention）

通过反向传播无监督域适应（参见论文：Unsupervised Domain Adaptation by Backpropagation）

进行图像超分辨率的深度递归 CNN（参见论文：Deeply-Recursive Convolutional Network for Image Super-Resolution）

带有合成梯度的多层感知器的图解在清晰度上得分很高：

带有合成梯度的 MLP（参见论文：Decoupled Neural Interfaces using Synthetic Gradients）

每天都有新的成果出现，下面这个就是新鲜的，来自谷歌的神经机器翻译系统：

一些完全不同的东西

Neural Network ZOO（一篇描述神经网络架构的文章，机器之心同样进行了编译）的描绘非常简单，但很多都华而不实，例如：ESM, ESN 和 ELM。

它们看上去像没有完全连接的感知器，它们看上去像没有完全连接的感知器，但它们应该代表的是一种液体状态机、一个回声状态网络和一个极端学习机。

LSM 和 ESN 有何不同？很简单，LSM 有着三角状绿色的神经元。而 ESN 和 ELM 又有什么不同呢？它们都有蓝色的神经元。

讲真，虽然类似，,ESN 是一个递归网络而 ELM 则不是。而这种区别也可在架构图中见到。

欢迎加入我爱机器学习QQ13群：550972653

微信扫一扫，关注我爱机器学习公众号

微博：我爱机器学习

图解LSTM神经网络架构及其11种变体（附论文）相关推荐

(转) 干货 | 图解LSTM神经网络架构及其11种变体（附论文）
干货 | 图解LSTM神经网络架构及其11种变体(附论文) 2016-10-02 机器之心选自FastML 作者:Zygmunt Z. 机器之心编译参与:老红.李亚洲就像雨季后非洲大草原许多野 ...
数据分享 | LSTM神经网络架构和原理及其在Python中的预测应用（附视频）
本文约2800字,建议阅读10+分钟本文与你分享如何使用长短期记忆网络(LSTM)来拟合一个不稳定的时间序列. 长短期记忆网络--通常称为"LSTM"--是一种特殊的RNN递归神 ...
深入浅出了解GNN的几种变体
接上篇博客,这周主要学习了GraphSAGE,GAT,R-GCN 三种GNN的变体模型,从空域的角度出发,对节点的嵌入表征进行了深入的研究.(本文作为笔者的学习笔记,如有错误,希望各位读者批评指正) ...
python神经网络算法pdf_高清图解：神经网络、机器学习、数据科学一网打尽|附PDF...
原标题:高清图解:神经网络.机器学习.数据科学一网打尽|附PDF [导读]完全图解人工智能.NLP.机器学习.深度学习.大数据!这份备忘单涵盖了上述领域几乎全部的知识点,并使用信息图.脑图等多种可视化 ...
7 11 藏尾诗c语言,为你写诗：11种杂体诗，汉语太神奇
原标题:为你写诗:11种杂体诗,汉语太神奇胸藏文墨怀如谷,腹有诗书气自华杂体诗通指古典诗歌格律体以外的各种各样的诗体. 这些诗多把字形.句法.声律和押韵加以特殊变化,成为独出心裁的奇异之作,一般带 ...
LSTM之父重提30年前的「快速权重存储系统」：线性Transformer只是它的一种变体...
作者|陈萍.维度来源|机器之心来自瑞士人工智能实验室.亚琛工业大学的研究者建立了线性(核)注意力与快速权重存储系统之间的内在联系,并提出更新规则,在合成检索问题.机器翻译.语言模型等实验上性能优越 ...
神经网络中的 Dropout 以及变体方法
Dropout 的学习笔记,主要参考文章: 12种主要的Dropout方法:如何应用于DNNs,CNNs,RNNs中的数学和可视化解释 [科普]神经网络中的随机失活方法 1. 简介深度学习训练模型的 ...
神经网络架构搜索（NAS）综述 | 附AutoML资料推荐
本文是一篇神经网络架构搜索综述文章,从 Search Space.Search Strategy.Performance Estimation Strategy 三个方面对架构搜索的工作进行了综述,几 ...
Transformer模型有多少种变体？复旦邱锡鹏教授团队做了全面综述
视学算法报道转载自:机器之心编辑:Liyuan.杜伟自提出至今,Transformer 模型已经在自然语言处理.计算机视觉以及其他更多领域「大展拳脚」,学界也提出了各种各样基于原始模型的变体.但 ...

图解LSTM神经网络架构及其11种变体（附论文）

图解LSTM神经网络架构及其11种变体（附论文）相关推荐

最新文章

热门文章