深度学习还没入门？看看深度学习三巨头的Deep Learning综述(4)

深度学习还没入门？看看深度学习三巨头的Deep Learning综述(1)
深度学习还没入门？看看深度学习三巨头的Deep Learning综述(2)
深度学习还没入门？看看深度学习三巨头的Deep Learning综述(3)
深度学习还没入门？看看深度学习三巨头的Deep Learning综述(4)

文章目录

递归神经网络
深度学习的未来

递归神经网络

图5 |递归神经网络及其正向计算中涉及的计算时间展开

当反向传播首次引入时，它最令人兴奋的用途是训练递归神经网络（RNN）。对于涉及顺序输入的任务，如语音和语言，通常最好使用RNN（图5）。RNN一次处理一个输入序列中的一个元素，并在其隐藏单元中维护一个“状态向量”，该状态向量隐式包含有关序列中所有过去元素的历史信息。当我们将隐藏单元在不同离散时间步的输出视为深层多层网络中不同神经元的输出时（图5，右图），我们可以清楚地看到如何将反向传播应用于RNN的训练。

RNN是非常强大的动态系统，但对其进行训练已被证明是有问题的，因为反向传播的梯度在每个时间步都会增长或收缩，因此在许多时间步中，它们通常会爆炸或消失。

由于其体系结构和训练方法的进步，人们发现RNN非常擅长预测文本中的下一个字符或序列中的下一个单词，但它们也可以用于更复杂的任务。例如，在每次阅读一个英语句子一个单词后，可以训练英语“编码器”网络，以便其隐藏单元的最终状态向量能够很好地表示句子表达的思想。然后，可以将该思想向量用作联合训练的法语“解码器”网络的初始隐藏状态（或作为额外输入），该网络输出法语翻译的第一个单词的概率分布。如果从该分布中选择特定的第一个单词并将其作为解码器网络的输入，那么它将输出翻译的第二个单词的概率分布，依此类推，直到选择了句号。总的来说，这个过程根据依赖于英语句子的概率分布生成法语单词序列。这种相当幼稚的机器翻译方式很快与最先进的技术竞争，这让人怀疑理解一个句子是否需要像使用推理规则操纵的内部符号表达式这样的东西。它更符合这样一种观点，即日常推理涉及许多同时进行的类比，每种类比都有助于得出结论的合理性。

人工神经元（例如，在时间t的值为st的节点s下分组的隐藏单元）在以前的时间步从其他神经元获得输入（这用黑色正方形表示，左侧表示一个时间步的延迟）。这样，递归神经网络可以将包含元素xt的输入序列映射为包含元素ot的输出序列，每个ot取决于之前的所有xtʹ（对于tʹ≤ t）。在每个时间步使用相同的参数（矩阵U、V、W）。许多其他架构都是可能的，包括一种变体，其中网络可以生成一系列输出（例如，字），每个输出都用作下一时间步的输入。反向传播算法（图1）可直接应用于右侧展开网络的计算图，以计算总误差（例如，生成正确输出序列的对数概率）对所有状态st和所有参数的导数。

与其将法语句子的意思翻译成英语句子，不如学习将图像的意思“翻译”成英语句子（图3）。这里的编码器是一个深层ConvNet，它将像素转换为最后一个隐藏层中的活动向量。解码器是一种RNN，类似于用于机器翻译和神经语言建模的RNN。最近，人们对此类系统的兴趣激增（参见参考文献86中提到的示例）。

RNN一旦在时间上展开（图5），可以看作是非常深的前馈网络，其中所有层共享相同的权重。虽然它们的主要目的是学习长期依赖关系，但理论和经验证据表明，很难学习长期存储信息。

要纠正这一点，一个想法是用显式内存扩充网络。这种类型的第一个建议是长-短期记忆（LSTM）网络，它使用特殊的隐藏单元，其自然行为是长时间记住输入。一个叫做记忆细胞的特殊单元就像一个累加器或一个门控泄漏神经元：它在下一个时间步与自身有一个权重为1的连接，因此它复制自己的实值状态并累积外部信号，但这种自我连接是由另一个学习决定何时清除内存内容的单元进行乘法门控的。

LSTM网络随后被证明比传统RNN更有效，尤其是当它们在每个时间步都有几层时，使整个语音识别系统能够从声学一直到转录中的字符序列。LSTM网络或相关门控单元的形式目前也用于在机器翻译方面表现出色的编码器和解码器网络。

在过去的一年中，几位作者提出了不同的建议，用内存模块扩充RNN。建议包括神经图灵机，其中网络由RNN可以选择读取或写入的“磁带状”内存扩充，以及内存网络，其中规则网络由一种关联内存扩充。内存网络在标准问答基准测试中取得了优异的性能。该内存用于记忆故事，随后要求网络回答问题。

除了简单的记忆，神经图灵机和记忆网络正被用于通常需要推理和符号操作的任务。神经图灵机可以学习“算法”。除其他外，当他们的输入由未排序的序列组成时，他们可以学习输出符号的排序列表，其中每个符号都伴随着一个表示其在列表中的优先级的实值。记忆网络可以在类似于文本冒险游戏的环境中进行训练，以跟踪世界状态，阅读故事后，它们可以回答需要复杂推理的问题。在一个测试示例中，网络显示了一个15句的《指环王》，并正确回答了诸如“佛罗多现在在哪里？”之类的问题。

深度学习的未来

无监督学习在恢复对深度学习的兴趣方面起到了催化作用，但自那以后，纯监督学习的成功就给它蒙上了阴影。虽然我们在本次综述中没有重点关注它，但我们预计，从长远来看，无监督学习将变得更加重要。人类和动物的学习在很大程度上是无监督的：我们通过观察来发现世界的结构，而不是通过被告知每个物体的名称。

人类视觉是一个主动过程，它通过一个小的、高分辨率的中心凹和一个大的、低分辨率的周围环境，以智能的、特定于任务的方式对光学阵列进行顺序采样。我们预计，未来视觉领域的大部分进展将来自于经过端到端培训的系统，这些系统将ConvNet与RNN相结合，使用强化学习来决定去哪里看。深度学习和强化学习相结合的系统尚处于起步阶段，但它们在分类任务方面已经优于被动视觉系统，并在学习玩许多不同的视频游戏方面取得了令人印象深刻的效果。

自然语言理解是深度学习在未来几年将产生巨大影响的另一个领域。我们期望使用RNN来理解句子或整个文档的系统，在学习每次有选择地关注一部分的策略时，会变得更好。

最终，通过将表征学习与复杂推理相结合的系统，人工智能将取得重大进展。尽管语音和笔迹识别长期以来一直采用深度学习和简单推理，但仍需要新的范式，以通过对大向量的操作来取代基于规则的符号表达式操作。

implicitly 暗中的
illustration 图示，例证
catalytic 催化的