互联网世界的“人工智能”——探秘“深度学习”的前世今生

转载自：http://blog.sina.com.cn/s/blog_990865340101gl2g.html

编者按：本文来自“流浪汉”投稿（@ZhangLumin），一个在硅谷工作的码农，有机器学习背景，平常对产品方面很有兴趣。最近一段时间里，Facebook、Google、Yahoo!、百度等各大公司都在尝试将深度学习（deep learning）算法运用到产品开发中，以期使产品更智能化，提升用户体验。在深度学习持续走红的当下，"流浪汉"对这一概念做了梳理，并分享了他对深度学习的实用性及未来发展的看法。

本周一，加利福尼亚州的 Lake Tahoe。Facebook CEO Mark Zuckerburg 造访了神经信息处理系统（Neutral Information Processing Systems, 下文简称 NIPS）举办的“深度学习研讨会”（Deep Learning Workshop）。Zuckerburg 在研讨会上宣布，纽约大学数据科学中心的 Yann LeCun 教授将兼任Facebook人工智能实验室（Artificial Intelligence Lab, AI Lab）的主管。

Facebook AI Lab 于今年下半年正式建成，其网络覆盖纽约、伦敦以及 Facebook 加州门罗帕克总部三地。AI Lab 旨在投入研发精力，探索人工智能的分支之一：深度学习（deep learning）。借此，Facebook 希望在未来能给用户提供更智能化的产品使用体验。

此消息一出，立刻成为机器学习顶级会议 NIPS 本年度会议上一道引人注目的风景，同时也为近两年大热的深度学习再添火一把。据悉，Google 于近日雇佣了未来学和人工智能专家Ray Kurzweil担任其人工智能计划的工程总监，微软最杰出的工程师之一、Bing Mobile 和 Bing Maps 开发的关键人物Blaise Agüera y Arcas 也已加盟 Google的机器人学习团队。IBM 也在深耕深度学习，旗下的超级计算机Watson凭借“高智商”已经在华尔街花旗集团找到了一份工作，负责证券投资组合管理。今年 10 月，雅虎收购了图片分析初创公司LookFlow，计划提升 Flickr 的搜索及内容发现体验。

那么，到底什么是深度学习？靠谱吗？对广大创业者来说，其中究竟存在怎样的机会？在下文，我会尝试梳理一下关于深度学习的概念，并分享一点个人的思考。

正如 Zuckerburg 所澄清的那样，Facebook（及本文所讨论）的人工智能是计算机科学中狭义的人工智能，并没有人工建造人脑那样的野心。这种人工智能，是基于数学（统计）进行问题求解的机器学习算法（machine learning algorism），即我们常常提到的大数据时代的算法核心。机器学习无处不在：互联网广告投放、网络传播、趋势预测、机器人研发、计算机视觉、搜索、自然语言理解，以及生物信息识别等都离不开机器学习。这也是诸多大公司在这个领域频频投资的主要原因。

深度学习是怎么火的？

什么是深度学习（deep learning）？说白了，就是人工神经网络（Artificial Neural Network，以下简称 ANN）这个旧瓶装了新酒。

人工神经网络包含输入层、输出层以及中间的若干隐层（hidden layer），每层都有若干结点及连接这些点的边，在训练数据集上会学习出边的权值，从而建立模型。随着边所表征的函数的不同，可以有各种不同的神经网络。这种源于人工智能中联结主义学派（connectionism）的方法在上世纪七八十年代盛极一时。John Hopfield，Geoffrey Hinton 和 Yann Lecun 等多位学者都对 ANN 颇有研究。

然而不幸的是，和学术论文中鼓吹的不同，在诸多工程领域中，人们发现 ANN 并没有表现出比其他经典算法更好的性能。究其原因，由于巨大的计算量和优化求解难度，ANN 只能包含少许隐层，从而限制了性能。控制领域仍然在使用经典的 PID 调节，而在机器学习领域，随着以支持向量机和贝叶斯网络为代表的统计学习在 90 年代的兴起，ANN 开始倍受冷落。

Geoffrey Hinton 曾感慨自己的学术生涯就像 ANN 一样起起伏伏。所幸的是，这位 Gatsby 的创立者一直没有放弃 ANN 的研究。从 06 年开始，他陆续开始发表关于如何改进 ANN 的文章，主要是通过很多数学和工程技巧增加隐层的层数，也就是深度，所以被称为深度学习。虽然 Hinton 的观点没有得到足够重视，成为主流共识，但大家开始更加关注这一领域。

08 年 NIPS 基金会没有批准 Deep Learning 的研讨会申请，结果组织者自行开会，包括 Michael Jordan，Andrew Blake 等一众机器学习及相关领域最具影响力的资深学者都出席了会议，会场爆满。除了一直没有放弃的 LeCun 等人，这一领域还吸引来了 Stanford 机器学习的教授、Coursera 创始人 Andrew Ng。Ng 的研究组，率先做出了和现有最高水平相提并论的结果。后来, 大家一步步推进，深度学习在很多实际评测中遥遥领先，一下就火了。

深度学习主张，如果 ANN 的隐层足够多，选择适当的连接函数和架构，并增加一个非监督学习的“pre training”网络组成，就会具有更强的表述能力，但常用的模型训练算法反向传播（back propagation）仍然对计算量有很高的要求。近年来，得益于计算机速度的提升、基于 MapReduce 的大规模集群技术的兴起、GPU 的应用以及众多优化算法的出现，耗时数月的训练过程可缩短为数天甚至数小时，深度学习才在实践中有了用武之地。

在计算机视觉领域，深度学习首先在手写识别领域表现出众。2012 年，在物体识别（被誉为计算机视觉圣杯）的权威测试 Imagenet Challenge 中，深度学习遥遥领先于其他经典算法（16% VS 26%），吸引了无数眼球。纽约大学计算机科学系副教授 Rob Fergus（和 Yann LeCun 一起加入 Facebook AI Lab）的学生 Matthew Zeiler，创立了一家提供图像搜索服务的公司——Clarifai。他的深度学习算法在本月刚刚结束的 ICCV Imagenet Challnge 2013 中，继续领先于其他算法。

深度学习产品化的浪潮中，科技巨头机会更大

Google 研究员 Ilya Sutskever 最近表示，如果数据足够多、计算能力足够强、人工神经网络足够深，即便不加“pre training”预处理，也可以取得目前最好的结果，这充分证明，目前的深度学习对标注数据量和计算能力都提出了很高的要求。

目前更像是巨头们的游戏。Google 和百度都已在自己的图像搜索中部署了深度学习技术。Google 在内部多个项目组推广深度学习平台，而百度也将深度学习算法运用到了语音等多个产品中。今年 5 月，前 Facebook 资深科学家徐伟加盟百度深度学习研究院（Institute of Deep Learning, IDL）。在这次 NIPS“深度学习研讨会”上，IDL 还设立了展台，它在深度学习方面的研究成果在学术界也越来越有影响力。

最近，Facebook 在人工智能领域动作频频。Zuckerburg 和俄罗斯富豪尤里一起创立了 300 万美元奖金的 Breakthrough Prize in Mathematics，可谓与 AI Lab 的设立一脉相承。拥有海量数据的互联网巨头中，Google 收购了 Geoffrey Hinton 的创业公司 DNNResearch（一家专注于语音和图像识别技术的研究公司）, 百度挖来余凯老师创立了 IDL 研究院，IBM 研究院 Watson 电脑开始研究深度学习相关技术，微软研究院邓力老师率先把深度学习应用在语音识别中，Yahoo 收购了 LookFlow 来创建深度学习小组，Amazon 在柏林创立了机器学习研究中心……

这一系列行动，无论是出于战略防御，还是单纯被深度学习吸引，一个无法否认的事实是：深度学习产品化的热潮已经扑面而来。

深度学习有局限性，初创公司应理性选取机器学习算法

有些人觉得深度学习似乎没有理论深度，其实不然。查阅一下 Geoffrey Hinton 的论文，其中用到的理论很深刻，数学技巧也很复杂，深度学习的理论门槛较高。但是好消息是，以 Hinton、Yoshua Bengio 为首的研究组开放了越来越多的源代码，包括 GPU 的实现，而且多种不同算法的开源实现也被公开，所以算法实现的门槛已经降低了很多。

对于创业者来说，困难在于如何获取大规模已标注数据、集成有 GPU 的计算集群以及针对自己的项目调参数。调参数一直是深度学习被学术界诟病的话题，早期只有几个圈内的小组掌握着调参数的秘方和数据处理的技巧。目前的深度学习参数调节已经比之前透明化了许多，但仍是开发过程中最为耗时的一部分。

目前主打深度学习的创业公司并不是很多，除了被Google收购的DNNResearch，Hinton 的另外一个学生最近在伦敦组建了 DeepMind，也在 NIPS 研讨会上进行了展示，他们使用深度学习改进了传统的强化学习，以寻找优秀的策略来打游戏，算法的表现和人的策略很相似。

还有位于旧金山的初创公司 Ersatz 主打深度学习的云平台，以进一步降低深度学习的门槛，但是除了数据问题，其技术水平有待观察且商业策略与众多大数据平台小公司无二，能否在激烈的商业拓展中脱颖而出还是问号。还有个别图像和文字理解的初创公司加入了深度学习的模块作为补充手段，在实际问题尤其是不同数据集上的应用尚有待观察。

但是，深度学习算法能够成功运行的前提仍然是，项目能够采集到充分大的标注且数据维度足够高或者你的想法足够通用。有了大数据样本才能缓解复杂模型的过度学习（overfitting）。从某种意义上说，这也给了其他机器学习算法很多机会。比如说，因为隐私原因，服务企业的大数据平台就很难应用深度学习，

深度学习的另一局限性是可解释性不强，即便是一流的学者也很难对效果超群的深度学习算法在具体问题上给出具体解释。这有可能成为产品迭代过程中的阻碍。深度学习本身是支持在线学习和数据流，但是相关理论尚待完善。如上所述，深度学习目前主要集中于监督学习，在非监督学习领域，除了 Google 前一段时间公布的用于自然语言处理的 word2vec，还没有很出彩的工作。

从深度学习的研究者身上，我们可以看到，一个好的研究者要对自己的研究有足够强的信念。正如马云所说，好的创业者要坚持自己的信念，而不是盲目跟风。我前不久遇见了 Aria Haghigh，他是 Prismatic 这个创业公司的创始人，同时也是一位名校毕业、成果卓著的机器学习研究者，放弃了教职出来创业。他也懂深度学习，但是对于他的产品和数据来说，他说深度学习并不是首选，因为数据的特性不同。

Prismatic 其实用的是 Logistical Regression 的算法，这一算法相对成熟，不过依然有很多地方可以优化。他们甚至自行创建了分布式系统，而不是使用 Hadoop。事实上，目前诸多搜索引擎和社交网络的广告系统都是以 Logistical Regression 的算法为基础的，相关产品的体验和速度都非常棒。朴实的算法，花同样的时间去调参数，对产品已经足够了，因为用户是不会察觉准确率上百分之零点几的差别。

此外，每个人对人工智能都有自己的见解。比如，Peter Thiel 投资了 Machine Intelligence Research Institute——这个研究机构对于目前主流的机器学习算法不满，试图从交叉学科的角度，创建更接近人、更友好的智能。

历史不会重演，却常常惊人得相似。翻开 Yann LeCun 的简历，这并不是他第一次投身工业界。他曾经是 AT&T 实验室（Bell 实验室拆分后留在 AT&T 的部分）图像处理组的负责人，并试图硬件化人工神经网络，后来由于公司策略调整，整个研究组被裁，他才挪移到纽约大学任教，继续自己独树一帜的研究（曾赢得国防部的合同）。

这次，他终于等到了深度学习（deep learning）的复兴，接受了 Facebook 的工作邀约再次回归工业界。之所以会聘请 LeCun 等高校教授回到业界，是因为深度学习在实践中确实取得了效果，而公司之前也雇佣过这些教授麾下的学生，合作下来都很愉快。

谁也不知道深度学习是否会像其他算法一样进入瓶颈期。如何把深度学习运用到产品中，将产品智能化，提升用户体验——这越来越受到公司的关注。

互联网世界的“人工智能”——探秘“深度学习”的前世今生相关推荐

【人工智能】深度学习、数据库选择和人工智能的革命；人工智能是解锁IoT潜力的钥匙
深度学习(DL)和人工智能(AI)已经不再是科幻小说中遥不可及的目标,目前已成为了互联网和大数据等领域的前沿研究内容. 由于云计算提供强的计算能力.提出的先进算法以及充裕的资金,这创造了五年前难以想象 ...
关于人工智能与深度学习技术的发展历程和未来展望
引言自2016年AlphaGo击败围棋冠军李世石后,人工智能话题逐渐火热起来.究竟什么人工智能呢?从上世纪人工智能诞生以来,都被赋予神秘的面纱.1950年,现代计算机科学之父阿兰·图灵提出了图灵测试 ...
牛津博士告诉你“人工智能”如何“深度学习”
前段时间,俄罗斯总统普京在莫斯科出席首届"人工智能之旅"国际会议时的讲话在各大媒体上刷屏了. 普京强调了人工智能科技将成为关系国家未来的关键,这让人工智能技术再度成为民众热议的话题 ...
机器学习与人工智能、深度学习有什么关系？终于有人讲明白了
导读:"机器学习"一词往往被与"人工智能""深度学习"混用,也常与"大数据"一词一同出现.下面首先简要介绍它们的关系,然 ...
热门 | Google Brain前员工深度盘点2017人工智能和深度学习各大动态
翻译 | AI科技大本营参与 | shawn 编辑 | Donna 2017年是人工智能井喷的一年.Google Brain团队前成员Denny Britz在自己的博客WILDML上对过去一年人工智 ...
《深度学习：Java语言实现》一一1.3人工智能与深度学习
1.3人工智能与深度学习机器学习是人工智能第三波浪潮中碰撞出来的火花,作为一种数据挖掘方法,它既实用又强大:然而,即便采用了这种新的机器学习方法,要实现真正的人工智能似乎依旧遥遥无期.因为定义特征一 ...
2018年的人工智能和深度学习将会如何发展？
本文系网易智能工作室(公众号 smartman 163)出品.聚焦AI,读懂下一个大时代! [网易智能讯12月30日消息]随着我们的日常生活与各种各样的技术越来越紧密地交织在一起,有时候,似乎未来已经 ...
人工智能-机器学习-深度学习的区别与联系
AI,机器学习,深度学习,这些术语使很多人感到困惑.如果您也是其中之一,那么人工智能-机器学习-深度学习的区别与联系– AI vs Machine Learning vs Deep Learning绝 ...
hopfileld神经网络_人工智能及深度学习-中国大学mooc-题库零氪
第二章知识表示知识表示随堂测验 1.对于知识的框架表示法,下面叙述正确的是( ) A.框架中,一个槽用于描述所论对象某一方面的属性,一个侧面用于描述相应属性的一个方面. B.槽值可以是另一个框架的 ...

互联网世界的“人工智能”——探秘“深度学习”的前世今生

互联网世界的“人工智能”——探秘“深度学习”的前世今生相关推荐

最新文章

热门文章