深度学习的最新研究进展（二）

神经网络的功能与人脑相似，它们主要由神经元和连接组成。当我们说深度神经网络时，我们可以假设有相当多的隐藏层，可以用来从输入中提取特征和计算复杂的函数。Bengio（2009）解释了深度结构的神经网络，如卷积神经网络（CNN）、自编码器（AE）及其变体等。Deng和Yu（2014）详细介绍了一些神经网络架构，如AE及其变体。Goodfellow等（2016）对深度前馈网络、卷积网络、递归网络及其改进形式进行了介绍和技巧性讲解。Schmidhuber（2014）提到了神经网络从早期神经网络到最近技术的完整历史。

深度自编码器

自编码器（AE）是神经网络（NN），其中输出即输入。AE采用原始输入，编码为压缩表示，然后解码以重建输入。在深度AE中，低隐藏层用于编码，高隐藏层用于解码，误差反向传播用于训练。

深度卷积神经网络

四种基本思想构成了卷积神经网络（CNN），即局部连接、共享权重、池化和多层使用。CNN的第一部分由卷积层和池化层组成，后一部分主要是全连接层。卷积层检测特征的局部连接，池层将相似的特征合。CNN在卷积层中使用卷积而不是矩阵乘法。

网络中的网络

Lin等（2013）提出了网络中的网络（Network In Network，NIN）。NIN以具有复杂结构的微神经网络代替传统卷积神经网络（CNN）的卷积层。它使用多层感知器（MLPConv）处理微神经网络和全局平均池化层，而不是全连接层。深度NIN架构可以由NIN结构的多重叠加组成。

基于区域的卷积神经网络

Girshick等（2014）提出了基于区域的卷积神经网络（R-CNN），使用区域进行识别。R-CNN使用区域来定位和分割目标。该架构由三个模块组成：定义了候选区域的集合的类别独立区域建议，从区域中提取特征的大型卷积神经网络（CNN），以及一组类特定的线性支持向量机（SVM）。

深度残差网络

He等（2015）提出的残差网络（ResNet）由152层组成。ResNet具有较低的误差，并且容易通过残差学习进行训练。更深层次的ResNet可以获得更好的性能。在深度学习领域，人们认为ResNet是一个重要的进步。

胶囊网络

Sabour等（2017）提出了胶囊网络（CapsNet），即一个包含两个卷积层和一个全连接层的架构。CapsNet通常包含多个卷积层，胶囊层位于末端。CapsNet被认为是深度学习的最新突破之一，因为据说这是基于卷积神经网络的局限性而提出的。它使用的是一层又一层的胶囊，而不是神经元。激活的较低级胶囊做出预测，在同意多个预测后，更高级的胶囊变得活跃。在这些胶囊层中使用了一种协议路由机制。Hinton之后提出EM路由，利用期望最大化（EM）算法对CapsNet进行了改进。

循环神经网络

循环神经网络（RNN）更适合于序列输入，如语音、文本和生成序列。一个重复的隐藏单元在时间展开时可以被认为是具有相同权重的非常深的前馈网络。由于梯度消失和维度爆炸问题，RNN曾经很难训练。为了解决这个问题，后来许多人提出了改进意见。

记忆网络

Weston等（2014）提出了问答记忆网络（QA）。记忆网络由记忆、输入特征映射、泛化、输出特征映射和响应组成。

增强神经网络

Olah和Carter（2016）很好地展示了注意力和增强循环神经网络，即神经图灵机（NTM）、注意力接口、神经编码器和自适应计算时间。增强神经网络通常是使用额外的属性，如逻辑函数以及标准的神经网络架构。

长短期记忆网络

Hochreiter和Schmidhuber（1997）提出了长短期记忆（Long short-Short-Term Memory, LSTM），克服了循环神经网络（RNN）的误差回流问题。LSTM是基于循环网络和基于梯度的学习算法，LSTM引入自循环产生路径，使得梯度能够流动。

谷歌神经机器翻译

Wu等（2016）提出了名为谷歌神经机器翻译（GNMT）的自动翻译系统，该系统结合了编码器网络、解码器网络和注意力网络，遵循共同的序列对序列（sequence-to-sequence）的学习框架。

Fader Network

Lample等（2017）提出了 Fader 网络，这是一种新型的编码器-解码器架构，通过改变属性值来生成真实的输入图像变化。

超网络

Ha等（2016）提出的超网络（Hyper Networks）为其他神经网络生成权值，如静态超网络卷积网络、用于循环网络的动态超网络。

Highway Networks

Srivastava等（2015）提出了高速路网络（Highway Networks），通过使用门控单元来学习管理信息。跨多个层次的信息流称为信息高速路。

Highway LSTM RNN

Zhang等（2016）提出了高速路长短期记忆（high - Long short Memory，HLSTM）RNN，它在相邻层的内存单元之间扩展了具有封闭方向连接（即 Highway）的深度LSTM网络。

长期循环CNN

Donahue等（2014）提出了长期循环卷积网络（LRCN），它使用CNN进行输入，然后使用LSTM进行递归序列建模并生成预测。

深度神经SVM

Zhang等（2015）提出了深度神经SVM（DNSVM），它以支持向量机（Support Vector Machine，SVM）作为深度神经网络（Deep Neural Network，DNN）分类的顶层。

卷积残差记忆网络

Moniz和Pal（2016）提出了卷积残差记忆网络，将记忆机制并入卷积神经网络（CNN）。它用一个长短期记忆机制来增强卷积残差网络。

分形网络

Larsson等（2016）提出分形网络即FractalNet作为残差网络的替代方案。他们声称可以训练超深度的神经网络而不需要残差学习。分形是简单扩展规则生成的重复架构。

WaveNet

van den Oord等（2016）提出了用于产生原始音频的深度神经网络 WaveNet。WaveNet由一堆卷积层和softmax分布层组成，用于输出。

指针网络

Vinyals等（2017）提出了指针网络（Ptr-Nets），通过使用一种称为"指针"的softmax概率分布来解决表征变量字典的问题。

深度学习的最新研究进展（一）

深度学习的最新研究进展（三）

什么是机器学习？（上）

什么是机器学习？（下）

人工智能（AI）经历了怎样的发展历程？

深度学习的最新研究进展（二）相关推荐

深度学习的最新研究进展（三）
本文我们将简要讨论其他深度架构,它们使用与深度神经网络类似的多个抽象层和表示层,也称为深度生成模型(deep generate Models,DGM).Bengio(2009)解释了深层架构,例如Bo ...
流体力学深度学习建模技术研究进展
流体力学深度学习建模技术研究进展王怡星.韩仁坤.刘子扬.张扬.陈刚摘要: 深度学习技术在图像处理.语言翻译.疾病诊断.游戏竞赛等领域已带来了颠覆性的变化.流体力学问题由于维度高.非线性强.数据量大 ...
NeurIPS提前看 | 四篇论文，一窥元学习的最新研究进展
2019 年,NeurIPS 接受与元学习相关的研究论文约有 20 余篇.元学习(Meta-Learning)是近几年的研究热点,其目的是基于少量无标签数据实现快速有效的学习.本文对本次接收的元学习论 ...
贝叶斯深度学习2020 最新研究总结
作者丨Ziyue Wu@知乎来源丨https://zhuanlan.zhihu.com/p/283633149 编辑丨极市平台本文仅作学术分享,若侵权,请联系后台作删文处理. 一个综合的人工智能系 ...
深度学习可解释性研究（二）： Understanding Black-box Predictions via Influence Functions（详细公式推导）
该文章从鲁棒性的角度出发,对深度学习模型的可解释性进行分析,这应该是我目前为止读过最难的一篇文章,有很多公式需要推导理解,有很多细节需要慢慢品味,但文章确实是难得一见的好文章,我会尽可能把我自己的理解 ...
【深度学习】综述 | 深度学习的最新进展
Recent Advances in Deep Learning:An Overview 来源:机器学习研习院本文我们将简要讨论近年来关于深度学习的最新进展. 摘要:深度学习是机器学习和人工智能研究 ...
论文模型构建的步骤_7篇ICLR论文，遍览联邦学习最新研究进展
机器之心分析师网络作者:仵冀颖编辑:H4O 本篇提前看重点关注 ICLR 2020 中关于联邦学习(Federated Learning)的最新研究进展. 2020 年的 ICLR 会议原计划于4 ...
商汤62篇论文入选CVPR 2019，一览五大方向最新研究进展
(图源自视觉中国) 作为与ICCV.ECCV并称为计算机视觉领域三大国际会议之一,本届CVPR大会共收到5265篇有效投稿,接收论文1300篇,接收率为25.2%. 商汤科技CVPR 2019录取论文 ...
《强化学习周刊》第14期：元强化学习的最新研究与应用
No.14 智源社区强化学习组强化学习研究观点资源活动关于周刊强化学习作为人工智能领域研究热点之一,它与元学习相结合的研究进展与成果也引发了众多关注.为帮助研究与工程人员了解该 ...

深度学习的最新研究进展（二）

深度学习的最新研究进展（二）相关推荐

最新文章

热门文章