【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. *Nature* **521,** 436

文章目录

一、先看题目、摘要、结论
二、文章主体
三、总结

今天要读的论文是深度学习的里程碑之作，集齐了三位在深度学习领域举足轻重的人物。

论文名称：LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015).

论文地址：LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015).

论文百度网盘下载地址：https://pan.baidu.com/s/1V6tJvmRLSVtgyrOHH0Egvg ，提取码：jh9o

一、先看题目、摘要、结论

题目：Deep learning

摘要：

Deep learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These methods have dramatically improved the state-of-the-art in speech recognition, visual object recognition, object detection and many other domains such as drug discovery and genomics. Deep learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters that are used to compute the representation in each layer from the representation in the previous layer .Deep convolutional nets have brought about breakthroughs in processing images, video, speech and audio, whereas recurrent nets have shone light on sequential data such as text and speech

深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。这些方法极大地提高了语音识别、视觉对象识别、对象检测和许多其他领域（如药物发现和基因组学）的最新技术水平。深度学习通过使用反向传播算法来发现大数据集中的复杂结构，以指示机器应该如何改变用于计算每一层表示的内部参数，该参数是用来从上一层的表示计算本层的表示。深度卷积网络给处理图像、视频、语音和音频带来了重大的突破。而循环网络已经照亮了序列数据处理，比如文本和语音。

backpropagation ：反向传播

State of the art（没有"-" ）指的是“技术现状；技术发展水平 ”，state-of-the-art指的是“前沿技术的；技术先进的 ”。

摘要中透露出的关键词：处理层，反向传播算法，大数据，深度卷积网络，循环网络。

结论：

The future of deep learning

Unsupervised learning had a catalytic effect in reviving interest in deep learning, but has since been overshadowed by the successes of purely supervised learning. Although we have not focused on it in this Review, we expect unsupervised learning to become far more important in the longer term. human and animal learning is largely unsupervised：we discover the structure of the world by observing it, not by being told the name of every object .

Human vision is an active process that sequentially samples the optic array in an intelligent, task-specific way using a small, high-resolution fovea with a large, low-resolution surround. We expect much of the future progress in vision to come from systems that are trained end-to end and combine ConV Nets with RNNs that use reinforcement learning to decide where to look. Systems combining deep learning and rein forcement learning are in their infancy, but they already outperform passive vision systems at classification tasks and produce impressive results in learning to play many different video games .

Natural language understanding is another area in which deep learning is poised to make a large impact over the next few years. We expect systems that use RNNs to understand sentences or whole documents will become much better when they learn strategies for selectively attending to one part at a time.

Ultimately, major progress in artificial intelligence will come about through systems that combine representation learning with complex reasoning. Although deep learning and simple reasoning have been used for speech and handwriting recognition for a long time, new paradigms are needed to replace rule-based manipulation of symbolic expressions by operations on large vectors.

无监督学习在重振对深度学习的兴趣方面具有催化作用，但此后被纯监督学习的成功所掩盖。虽然我们在本篇论文中没有关注它，但我们预计无监督学习从长远来看会变得更加重要。人类和动物的学习在很大程度上是无监督的：我们通过观察来发现世界的结构，而不是通过被告知每个物体的名称。

人类视觉是一个主动过程，它使用具有大型低分辨率环绕声的小型高分辨率中央凹以智能、特定于任务的方式对光学阵列进行顺序采样。我们预计未来在视觉方面的大部分进展将来自端到端训练的系统，并将 ConV 网络与使用强化学习的 RNN 相结合来决定在哪里看。结合深度学习和强化学习的系统还处于起步阶段，但它们已经在分类任务上胜过被动视觉系统，并在学习玩许多不同的视频游戏时产生了令人印象深刻的结果。

自然语言理解是深度学习有望在未来几年产生重大影响的另一个领域。我们希望使用 RNN 来理解句子或整个文档的系统在学习一次有选择地关注一个部分的策略时会变得更好。

最终，人工智能的重大进展将通过将表征学习与复杂推理相结合的系统实现。尽管深度学习和简单推理用于语音和笔迹识别已有很长时间，但仍需要新的范式来通过对大向量的操作来取代基于规则的符号表达式操作。

二、文章主体

开始说深度学习在越来越多的领域获得了应用。

再说明传统的深度学习的缺点（需要专业的人对模型进行专业的处理）

表征学习可以通过数据自动的去发现数据的特征，从而进行分类或者识别。

深度学习是一种具有多个表征层的表征学习方法。

后面文章主体就对深度学习的理论基础、深度学习的各个分支方法进行了介绍。

三、总结

这是一篇由三位深度学习大神合作发表在nature上的综述文章，文章彻底吹响了深度学习的号角，在文章发表到现在，深度学习已经在各行各业得到了应用。从图形识别，文字识别，语音识别，各种新技术极大的提高了行业的发展水平。除了这些和深度学习结合和紧密的行业，很多传统行业也纷纷将本行业和深度学习结合起来，来获得以往方法所不能或得的效果。

【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. Nature 521, 436–444 (2015).相关推荐

unix程序员手册_推荐几本实惠电子书，程序员读的经典书都有，比如deep learning...
小编挑了几本大家耳熟能详的经典电子书,希望您能喜欢.四折的价格小编都用红框标注出来喽!!!祝您阅读愉快!以下推荐的9本电子书均由异步社区出品,如需要请移步https://www.epubit.com/ ...
【程序员读论文】推荐一款OCR软件，识别PDF论文上的文字
在我们读论文过程中,我们会有将PDF论文中的一些文字复制下来的需求,但因为PDF的特殊性,要么复制不出来,要么复制的有问题.通过OCR软件,我们可以通过现在的图形文字识别技术,将PDF的文字识别出来, ...
深度学习-LeCun、Bengio和Hinton的联合综述-Deep Learning一篇nature综述论文
深度学习-LeCun.Bengio和Hinton的联合综述原文摘要:深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示.这些方法在许多方面都带来了显著的改善,包括最先进的语音 ...
每一个想成功的程序员读一读此
强烈建议每一个想成功的程序员读一读此文章[转载] 好的开始是成功的一半,本书首先会试图告诉你什么是程序员?为什么要做这样的程序?正确的入门方法是什么? 程序员只有在理解了以上内容的基础上,才能进一步更 ...
深度学习-LeCun、Bengio和Hinton的联合综述（上）
深度学习-LeCun.Bengio和Hinton的联合综述(上) width="22" height="16" src="http://hits ...
深度学习-LeCun、Bengio和Hinton的联合综述（下）
[编者按]三大牛Yann LeCun.Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知.为纪念人工智能提出60周年,最新的<Nature>杂志专门开辟 ...
论文笔记 - 《Deep Learning》（Yann LeCun Yoshua Bengio Geoffrey Hinton）精典
深度学习的奠基作者:Yann LeCun,Yoshua Bengio & Geoffrey Hinton(三位大神) Geoffrey Hinton:谷歌副总裁兼工程研究员(多伦多大学的 ...
这是2019年适合Java程序员读的10本书
除了为经验丰富的Java开发人员(他们更倾向于学习架构方面的知识,关于云.微服务.Java 9和Spring 5开发等)推荐了一些书籍,同时也为那些初级程序员或经验相对缺乏的Java开发者推荐一些适合 ...
《重构》经典句子摘录，程序员读过后一定有收获
1.如果你要给程序添加一个特性,但发现代码因缺乏良好的结构而不易于进行更改,那就先重构那个程序,使其比较容易添加该特性,然后再添加该特性. 2.重构技术就是以微小的步伐修改程序.如果你犯下错误,很容易 ...
程序员读《三体》后看到了什么？
读完<三体>后感悟良多,仿佛思绪被带入了几百光年外的宇宙中,流连忘返,不忍返航.不得不说<三体>虽是小说,但远超小说的范畴,书中对于科幻和宇宙的思考颇有深度,其中描述" ...

【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. Nature 521, 436–444 (2015).

文章目录

一、先看题目、摘要、结论

二、文章主体

三、总结

【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. Nature 521, 436–444 (2015).相关推荐

最新文章

热门文章

【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. *Nature* **521,** 436–444 (2015).

文章目录

一、先看题目、摘要、结论

二、文章主体

三、总结

【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. *Nature* **521,** 436–444 (2015).相关推荐

最新文章

热门文章

【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. Nature 521, 436–444 (2015).

【程序员读论文】LeCun, Y., Bengio, Y. Hinton, G. Deep learning. Nature 521, 436–444 (2015).相关推荐