你目前所见到的每一个人工智能领域的新进展，都取决于三十年前的突破。要保持进步，需要打破人工智能巨大的局限性。

1980年代中期出版的这本书，展示了如何训练具有多层次的神经网络，它为过去十年里AI的进步奠定了基础。

对于人工智能的未来，MIT的记者James Somers专访了深度学习之父Geoffrey Hinton。以下是正文：

▍向量学院与全球人工智能中心

我正站在即将成为世界中心的地方，又或许只是位于多伦多市中心闪闪发光的高楼的第七楼的一个大房间。带我参观的是乔丹·雅各布斯（Jordan Jacobs），他是这个地方的创办人之一：新设立向量学院（Vector Institute），之前被谷歌投资，今年秋季正式开课，旨在成为全球人工智能中心。

我们在多伦多，是因为Geoffrey Hinton也在多伦多，而Geoffrey Hinton被誉为“深度学习之父”。 Jacobs说：“在过去的30年里，我们可以说Geoff引领了AI与深度学习，他就像是人工智能领域的爱因斯坦。

AI领域的顶级科研人员中，Hinton（的研究成果）被引用的次数，比排在他后面的三位的总和还要多。他的学生和博士后已经在苹果，Facebook和OpenAI运营人工智能实验室; Hinton自己则是Google Brain AI的首席科学家。

事实上，几乎最近十年每一个AI成就——翻译，语音识别，图像识别和游戏玩法——在某种程度上都可追溯到Hinton的研究成果。

向量学院，作为Hinton终极想法的里程碑，是一个为来自美国和加拿大的公司，如谷歌，Uber和Nvidia，提供AI技术商业化帮助的研究中心。资金比雅各布预想的来得更快一些，他的两位联合创始人对多伦多地区的公司进行了调查，得出业界对AI专家的需求，达到加拿大每年培养出来的人才的10倍。

对于当下全球范围内围绕深度学习动员的尝试，向量学院在某种程度上可以说是从头开始：在AI技术，训练模型，优化和实际应用它。数据中心在搭建中，塔楼里全是初创公司，学生们正步入“战场“。

站在向量学院课堂上，只有空旷和回声，这里很快就会被填满，你正处于某个里程碑的中心。深度学习的特别之处在于，它的逻辑方式是那么的“老”。

Hinton与同事David Rumelhart和Ronald Williams突破性的成果于1986年出版，该文详细阐述了反向传播技术，或简称为“反向传播”。用普林斯顿的计算心理学家JonCohen的话来说，反向传播是“深度学习的基础——几乎涉及到所有的深度学习”。

归纳起来，当下的人工智能就是深度学习，深度学习就是反向传播——这也是最神奇的地方，毕竟反向传播都“30多岁”了。然而，值得我们思考的是，一种技术怎么能“蛰伏”这么久才忽然爆发——一旦你了解了方向传播的发展历程，你就能理解人工智能的现状了，特别是我们并不是在AI革命的初始阶段面对这个事实。也许我们已经在AI时代的尾声？

▍也许我们并不处在AI革命的开端

当你走在街上，即使在市中心的金融区，你都觉得自己走进了大自然：空气中满是潮湿的泥土香。多伦多建于森林山沟之上，据说是一座“花园城市”，当飞过多伦多上空，你会发现城市的外部看起来就像漫画一样郁郁葱葱。

从向量学院到Hinton的Google办公室，Hinton大部分时间都踱步穿梭（他现在是多伦多大学的荣誉教授），他就是这座城市的活广告，至少在夏天是这样的。你就能理解为什么来自英国的Hinton先生，自1980年，从在匹兹堡卡内基梅隆大学工作之后就搬到了这里。

多伦多是北美第四大城市（墨西哥城，纽约和洛杉矶为前三大城市），其多样化：一半以上的人口出生在加拿大境外，随处可见来自五湖四海的朋友。科技走廊的那群小伙伴，看起来不像是来自旧金山的—穿着卫衣看起来更国际化。

免费的医疗保健和优质的公立学校，友善的居民，政治倾向相对左倾而且稳定；这些东西吸引了像Hinton这样，说是因为伊朗门事件而离开美国的人。这是在午餐之前，我遇到他时聊到的事情之一。

Hinton说：“在卡内基梅隆，很多人认为美国入侵尼加拉瓜是完全合理的。他们甚至认为它归他们所有。”他告诉我他最近在一个项目上取得的巨大突破：“有一名很优秀的初级工程师和我们一起工作，”一位叫Sara Sabour的女士。Sabour是伊朗人，因为她的美国工作签证被拒了， Google的多伦多办公室才挖到了她。

69岁的Hinton，有一张看起来慈祥，英伦的面孔，薄嘴唇，大耳朵，大鼻子，典型的友好大英帝国脸。

他出生在英国温布尔登，他说话的时候，声音听起来像儿童科普书的说书人：好奇，有代入感，渴望阐明事情。他很逗，还点像个演员。我们交谈的整个过程中，Hinton一直站着，事实证明，坐着实在太痛苦了。

“我在2005年6月的时候坐下来过，那就是个失误……”他说，光怪陆离的光线投到地面上，他解释着背部手术植入的圆盘给他生活带来的麻烦。这意味着他不能坐飞机，当天早些时候，Hinton不得不把一个看起来像一个冲浪板的东西背到牙医办公室，好让他在检查受损牙龈的时候可以躺在上面。

在20世纪80年代，就像现在一样，Hinton是神经网络专家，那时的大脑神经元和突触网络模型还很简单。然而，当时神经网络已经被坚定地认为是AI研究的死胡同。

尽管最早的神经网络，在20世纪60年代开发的感知器，被誉为人类机器智能的第一步，麻省理工学院的MarvinMinsky和Seymour Papert于1969年出版的一本名为Perceptrons的书，在数学上证明了这样的网络只能执行最基本的功能。

这些网络只有两层神经网络，一个输入层和一个输出层。位于输入和输出神经元之间更多层次的神经网络，在理论上可以解决各种各样的问题，但没有人知道如何训练他们，所以在实践中他们并没有用。

除了像Hinton这样的几个“顽固分子”外，Perceptrons使大多数人彻底放弃了神经网络。

1986年，Hinton的突破性成果，表明了反向传播可以训练一个深层次的神经网络，意味着存在神经网络能超过两到三层。但是在提高计算机运算能力之前，又花了整整26年才等到今天来真正利用起这个发现。

Hinton和他的两位多伦多学生于2012年发表的论文中表明，使用反向传播训练的深度学习神经网络，在图像识别中击败了最先进的系统。 “深度学习”正式起飞，对于外界来说，AI似乎是一夜醒来的。但对于Hinton来说，这个“回报”早该来了。

▍反向传播

神经网络通常被刻画成一个三明治的样子，层叠在一起的网络层。这些层包含人造神经元，一个由愚笨的微小计算单位组成，在激发时——模仿真正的神经元兴奋的方式，将这种兴奋传达到与他们所连接的其他神经元。

神经元的兴奋值由数值代表，如0.13或32.39，表示它有多“兴奋”。而另外一个关键的数值，在两个神经元之间的每一个连接上，决定了有多少兴奋从一个神经元传递到另一个神经元。这个数值是为了模拟大脑神经元之间突触的强度。当数值较高时，意味着连接更强，所以更多的兴奋流向对方。

深度神经网络最成功的应用之一就是图像识别，就像HBO美剧“硅谷”让人印象深刻的那一幕，团队搭建了一个可以判断图片中是否有热狗的应用。

这个应用实际上是真实存在的，但要是放在十年前，是不可能实现的。要让它能运作，第一步是获得一张照片，简单点说，它是一张黑白图像，100像素宽，100像素高。

通过设置输入层中每个模拟神经元的兴奋度，使其与每个像素的亮度相等，将图像提供给神经网络。这是“三明治”的底层：10,000个神经元（100x100），代表图像中每个像素的亮度。

然后，你将这一大层神经元连接到上面的另一个神经网络层上，如几千个神经元，这些层又连接着另外几千个神经元，依此类推。

最后，在三明治的最上层，输出层，只有两个神经元 - 一个代表“热狗”，另一个代表“不是热狗”。

这个构思是教神经网络识别图片中是否有热狗，有就激发第一个神经元，如果没有就激发第二个。Hinton将其职业生涯倾注于这门技术——反向传播就是做成这件事的方法。

Hinton，David Rumelhart和Ronald Williams的开创性研究“error propagation”

反向传播其实非常简单，尽管它只有在大量数据的基础上才能运作良好。这就是为什么大数据在AI中如此重要——为什么Facebook和Google如此渴望，为什么向量学院决定在加拿大四家最大的医院之间建立工作室，并与他们建立数据合作关系。

在这种情况下，通过对数百万张图片打标签，来识别出哪些图片有热狗。当你首次搭建神经网络时，神经元之间的连接可能具有随机权重随机数值，来表示每个连接传递的兴奋程度，就像大脑的突触没调整好那样。

反向传播的目的是改变这些权重，使神经网络真正能工作起来：当你将热狗的图片传递到最底层时，最顶层的“热狗”神经元会变得“兴奋”起来。反向传播会重新获取网络中每个连接的强度的过程，以便为给定的训练示例修正错误。

最神奇的是，当你用数百万甚至数十亿图像来执行此操作时，网络开始变得非常擅长辨别图像中是否有热狗。更厉害的是，这些图像识别网络的各个层开始以跟我们的视觉系统类似的方式“查看”图像。

也就是说，第一层可能会最终检测到边缘，这意味着当有边缘时，它的神经元被激发，当没有边缘时不会兴奋；上面一层可能能够检测到一组边缘，更上面的层可能开始看到形状，再往上层可能会开始找到像“切口面包”或“整块面包”这样的东西，就像有神经元对这两种情况作出的反应。意思就是，这个网络在未经明确编程的情况下，将自己组织成层级化的网络。

▍向量之舞

这是大家都很疑惑的事情，神经网络不仅仅是对热狗或其他任何东西进行分类：它们似乎能够构建想法的表征。

在文本识别方面，这一点更明显。你可以将维基百科的文本（数十亿字）加入一个简单的神经网络，训练它输出，为每个单词排列一个与每层神经元兴奋数值匹配的大数据列表。

如果你将每个数字视为复杂空间中的一个坐标，那么你在做的基本上就是在该上下文中找一个点，在上下文中被称为向量，每个单词在该空间中的位置。现在，训练你的网络，使得维基百科页面上相似的单词，最终在类似的坐标位置出现，神奇的事情要发生了：具有相似意义的词语开始在空间中彼此接近。也就是说，“不正常”和“不合”将有相近的坐标，就像“三”和“七”也会。

更重要的是，所谓的向量算术可能使得从“巴黎”的向量中减去“法国”的向量，添加“意大利”的向量，最终坐标在“罗马”附近。没有人告诉神经网络罗马属于意大利，就像巴黎属于法国。

“真是太6了”Hinton说，“这太令人震惊了！”神经网可以被认为是试图把事情——图像，文字，对话记录，医学数据——把它们放入数学家所说的高维向量空间中，事物之间的距离和关系反映了现实世界某些重要的特征。

Hinton认为这就是大脑的运作机制。

如果你是数学家，大规模神经活动可以在一个向量空间中被捕捉，每个神经元的活动对应一个数字，每个数字到坐标是一个很大的矢量。

在Hinton看来，这就是想法：向量之舞。

▍人工智能的瓶颈

多伦多人工智能旗舰机构被命名为“向量学院”并不是巧合，这个名字是Hinton想出来的。

Hinton创造了一种现实扭曲场，一个充满确定性和热情的地方，让你觉得没有什么东西是向量不能实现的。毕竟，看看他们已经衍生出来的东西：自动驾驶汽车，检测癌症的电脑，同声翻译机器。再看看这位迷人的英国科学家谈论高维空间中的梯度下降。

即使当你离开这个房间的时候还会记得：尽管他们有时候看起来很聪明，但这些“深度学习”系统还是很蠢的。机器“看到”一堆甜甜圈堆放在桌子上的图片，自动地将其标示为“堆在桌子上的一堆甜甜圈”，看起来似乎了解了世界；

但是当同一个程序看到一个女孩刷牙的照片，说“男孩拿着棒球棍”，你会意识到这种理解能力真的很“弱智”，还不如没有。

神经网络只是无意识的模糊模式识别器，在它的能力范围内——可以将它们集成到几乎所有类型的软件中——它们最多只能代表有限的智能，还很容易被骗。当你改变某个像素或添加人类不可察觉的视觉噪声时，识别图像的深层神经网络可能会就“卡顿”了。

事实上，就像我们在频繁寻找应用深度学习新应用那样，我们也发现其更多的局限性。自动驾驶汽车，在遇到以前未见过的情况时，可能就无法导航了。机器无法解析需要常识理解的句子。

深度学习在某种程度上模仿了人类大脑中运作机制，但只是以很表面的方式——这也许解释了为什么它有时候看起来还很弱智。

事实上，反向传播并不是通过深入探索大脑，解读思想本身被发现的；它源自于经典推理实验中，动物如何通过试错法学习的模式。发展过程中的大部分进步并没有涉及神经科学的最新见解；他们只是数学和工程学多年的技术改进。我们对智能的了解还受限于我们对未知的局限。

多伦多大学同一个部门的助理教授戴维·杜文多（David Duvenaud）说，深度学习在物理学之前就像工程学。 “有人写一篇论文，说：“我建了座桥，它立起来了！’”另一个人写了篇论文：“我建了座桥，它倒下了”——但是我添加了支柱，然后立起来了。然后柱子成为了最火的新事物。

有人设计出拱门，就像‘拱门超棒的！’ 物理学家说：“事实上你是可以理解什么是可行的，以及为什么可行”直到最近，我们才开始进入这个理解人工智能的阶段。

Hinton自己也说：“大多数会议注意力放在细小的调整变化，而不是思考和发声，‘我们现在做的研究哪儿还做的不够好？有什么困难？我们该专注于这一点上。

当看到的一个又一个巨大进步的时候，你很难像局外人一样保持清醒。但是AI的最新进展却不如工程科学，甚至只是做修修补补。尽管我们已经开始更好地处理什么样的改变将改善深度学习系统，但关于这些系统如何运作的，我们还搞不清楚，甚至他们能不能像人脑那么智能都是未知之数。

值得一问的是，我们是不是已经完全利用反向传播了。如果是这样，这可能意味着人工智能进步的瓶颈期。

▍耐心与局限

如果你想看到下一个大事件，你可以翻一下类似于在八十年代遇到的研究反馈：天才们那时候还没有真正实现的想法。

几个月前，我去了Minds，Brains和Machines中心，一个设在麻省理工学院的多机构总部，去探望一位朋友，Eyal Dechter正在为他的认知科学论文答辩。

Eyal开始讲述一个难以解答的问题：经过两年的（生活）经验，Eyal两岁的女儿Susannah是如何学会说话，玩，代入故事情节的？人类的大脑怎么学得这么快的呢？一台计算机能够如此快速且流畅地学习吗？

我们能理解事物的新现象，我们将某个概念／事物拆分成片段，并学习这些知识片段。 Eyal是一位数学家和计算机程序员，他认为任务就像制作蛋奶油那样，是一个非常复杂的计算机程序。

但是你又不会通过学习程序中的每一个微小的步骤——如“旋转你的肘30度，然后往下看桌面，然后伸手指方向，然后...”——来学制作奶油。如果你学什么都要按照这样的步骤，那学习就真的太难了，你会被局限于你已知的。

相反，我们把这个程序设置基于更高级的步骤，如“打蛋清”，它们本身由子程序组成，如“打破鸡蛋”和“分开蛋黄”。

计算机就不能这样了，这也是为什么他们这么“蠢”。

要使得一个深度学习系统能识别热狗，你可能需要“投喂”4000万张热狗图片。为了让Susannah认出热狗，你只要给她一只热狗就好了。在此之前，她需要认识到某些词经常出现在一起，并对语言有深入了解。

与计算机不同，她的脑海里会形成一个现实世界是如何运转的模型。“对我而言，人们担心被人工智能取代工作是很不能理解的”Eyal说，“不是说因为律师的工作很复杂，所以计算机不能取代律师。而是因为律师要阅读并与人进行交谈。我们离（计算机）实现这些还早。“

当你稍微改变其试图解决问题的要求时，真正的智能并不会出错。而Eyal的论文的关键部分在于他的展示，理论上，你如何让一台计算机这样工作：把流行的应用用于已知的新任务上，引导自己快速从一个新的领域小白成为专家。

本质上说，这是一个他称之为“exploration–compression”算法的过程。它使计算机有点像一个程序员一样工作，他们在构建越来越复杂的程序的过程中，构建可重复使用的模块化组件库。

在未被告知任何关于这一新领域的信息时，电脑试图通过搬弄，巩固所发现的（有价值的）内容，以及像人类小孩那样一起“玩“的方式来构建关于新领域的知识体系。

他的顾问Joshua Tenenbaum是AI界最引人注目的研究人员之一，Tenenbaum的名字出现在我和其他科学家半数以上的对话中。DeepMind的一些关键人物——AlphaGo背后的团队，Go在2016年复杂的棋类比赛中击败了世界第一棋手，使计算机科学家感到震惊——都曾是他的博士后。

他加入了一家试图让自动驾驶汽车，对基本物理学和其他司机的意图有直觉判断的初创公司，以使它能更好地处理从未见过的情况，比如当一辆卡车在它前面或有人试图超车时。

Eyal的论文还没有转化为这些实际应用，更别提其他让人头疼的内容了。 Tenyalbaum说：“Eyal着手的问题真的巨难，这可能要好几代人才能解决。”

Tenenbaum留着雪白的长卷发，我们喝咖啡时，他穿着一条黑色休闲裤和纽扣衬衫。他告诉我，他试图从反向传播的发现过程找灵感。

几十年来，反向传播一直是很酷炫的数学，但没有真正解决任何实际问题。随着计算机的运算速度越来越快，工程设计越来越复杂，突然之间它就可行了。他希望自己和他的学生在从事的研究也能发生这样的情况，但这可能需要几十年的时间。

至于Hinton，他相信，克服AI的局限性是建立于“计算机科学与生物学之间的桥梁”。在这种观点下，反向传播是一种生物启发的计算机突破；这个想法最初并不是来自工程，而是心理学的。所以现在，Hinton正试图着手类似的迁移方法。

现在的神经网络是由大平面层组成的，但是在人类新皮层中，真正的神经元不仅仅是水平布置成层的，还有垂直排列。Hinton知道这些神经学原理是什么，例如，即使我们的注意点改变，视点对我们识别对象的能力仍至关重要。

所以他正在构建一个人工智能——他称之为“胶囊”——来验证这个理论。至少到目前为止，还没有被淘汰出局。胶囊没有大幅提高神经网络的表现。但这与他近30年来一样研究的反向传播一样，需要耐心。

他笑着说：“胶囊理论必须是对的，不可行只是暂时的。”

来源：TechnologyReview

原作者：James Somers

编译：珊珊

★推荐阅读★

20年后的iphoneXXXX手机长这样

Google顾问预言：五年后AI将在星际争霸中战胜人类

CMU用「PixelNN」完美还原马赛克照片（paper）

9行Python代码搭建神经网络（代码）

一张图尽览英伟达创始人黄仁勋GTC CHINA演讲

全球AI十大天使投资人，雅虎杨致远排名第二

娃哈哈投资1000万美元在以色列建立AI研究中心

430家以色列人工智能初创公司图谱及十大特征 

25行Python代码实现人脸识别 || 教程

AI可以将UI设计图自动生成跨平台代码（paper）

长期招聘志愿者

加入「AI从业者社群」请备注个人信息

添加小鸡微信  liulailiuwang