视学算法报道

机器之心编辑部

一天傍晚,他们望向窗外。两架飞机交叉飞过,在山峰上空留下一个巨大的「X」形的尾迹。他们兴奋地思考着这其中的含义,然后才想起来谷歌总部就建在一个名叫「山景城」的地方。「这是不是表示我们应该加入谷歌?」Hinton 问道,「还是暗示我们不要去?」

这是神经网络之父 Geoffrey Hinton 和他的两个学生——Alex Krizhevsky 、Ilya Sutskever——之间的一段对话。对话发生在 2012 年 12 月。对于整个人工智能领域来说,这是非常重要的一个年份。

在这一年的 ImageNet 挑战赛上,Hinton 和 Krizhevsky、Sutskever 提出的深度神经网络 AlexNet 一骑绝尘,将图像分类的错误率降低了一半,以远超第二名的成绩拿到了比赛的冠军,证明了深度学习的巨大潜力。

Ilya Sutskever(左)、Alex Krizhevsky(中)和 Geoffrey Hinton(右)。

如此重大的进展自然逃不过科技巨头的敏锐触角。论文刚发出几天,Hinton 就收到了一封来自中国的电子邮件。发信者是余凯,彼时,他刚刚加入百度,领导新成立的多媒体部。

余凯和 Hinton 相识于加拿大的一个学术研讨会,两人的共同之处在于:他们都相信神经网络存在巨大潜力。在看到论文之后,余凯告诉百度高层,他们应该尽快招募 Hinton。通过这封电子邮件,余凯把 Hinton 引荐给了百度的一位副总裁,这位副总裁立即给出了高达 1200 万美元的 offer,邀请 Hinton 和他的学生为百度工作几年。

但与此同时,其他科技科技巨头也在给 Hinton 的办公室打电话,一场人才争夺战就此展开。从今天的角度来看,这场争夺战不仅决定了 Hinton、Krizhevsky、Sutskever 三人的去留,也是一把发令枪,标志着巨头之间的深度学习军备竞赛就此拉开帷幕。

很长一段时间里,外界都不知道究竟有哪些巨头参与了这场争夺战,也不知道他们以怎样的形式展开交锋。但最近出版的一本新书为我们揭开了这一谜底。

这本书的作者是《纽约时报》记者 Cade Metz,书中描写了几家科技巨头围绕 Hinton 等人展开的一场 AI 人才与技术竞争。虽然 Hinton 和几家参与竞标的公司签署了保密协议,但时过境迁,AI 赛道的几个头部玩家早已站稳脚跟,这些往事也就没有了保密的必要。透过《连线》关于此书的一篇报道,我们可以大体知道当年究竟发生了什么。

四家巨头的角逐

前面说到,AlexNet 的问世让全世界都看到了深度学习的巨大潜力,百度也在第一时间给出了 1200 万美元的 offer。但就在双方即将达成协议之际,Hinton 犹豫了,因为美国的几家巨头也向他抛出了橄榄枝。

在两个学生的激励下,Hinton 意识到,百度及其竞争对手更有可能斥巨资收购一家公司,而不是花同样的钱从学术界雇佣几个新员工。于是,Hinton 就创建了自己的公司,并将其命名为 DNNresearch。

但是,这家公司只有三名员工,没有产品,也没有历史,怎么才能卖个好价钱呢?Hinton 带着这个问题去咨询了律师。律师给出了两条建议,一是聘请一位谈判专家,但是这个做法有激怒潜在买家的风险;二是组织一场竞拍,价高者得。权衡利弊之后,Hinton 等人选择了后者。

Hinton 将竞拍的时间选在了 2012 年的 12 月份,这也是当年的 NeurIPS 大会举办的时间。在他看来,那年的 NeurIPS 大会是举行高风险拍卖的理想场所,因为大会地点就选在两家著名的赌场酒店 Harrahs 和 Harveys。

对于 Hinton 来说,这趟从加拿大到美国的旅程并不轻松,因为他只能躺在交通工具上,否则就会有椎间盘突出的风险。

拍卖周前夕,谷歌高级副总裁 Alan Eustace 驾驶自己的双引擎飞机降落在机场,与他一起代表谷歌的还有 Jeff Dean。百度派出的代表则是余凯。其他几个潜在买家还包括微软和刚成立两年的 DeepMind。

整个竞拍过程通过电子邮件的方式进行,竞标者们并不知道彼此的身份,只和 Hinton 团队单独见面或沟通。

Hinton 在自己下榻的 Harrah 酒店 731 房间里主持竞拍。他每天都会为下一轮竞标设定一个时间,然后和他的学生在笔记本电脑上查看竞标数据。为了方便 Hinton 站着打字,他们把两个垃圾桶倒扣在床尾的书桌上,然后把笔记本电脑架在上面。

拍卖规则很简单:在每轮出价之后,四家公司都有一个小时的时间将出价提高至少 100 万美元。一小时后,如果没有人给出更好的价格,竞拍就结束了。

第一个出局的是 DeepMind。这家公司给出的筹码是自己的股票,而非现金。

从 1500 万到 2000 万,DNNresearch 的身价不断攀升。中途,微软也退出过一次,但之后又回来了。

到了 2200 万美元,Hinton 暂停了竞拍并与其中一家公司展开了讨论。

半小时后,微软再次退出,只剩下百度和谷歌两家公司。

在新一轮的出价中,DNNresearch 身价涨到了 2400 万美元。百度总部的高管开始亲自参与竞标。

竞拍过程中,余凯会时不时地到 Hinton 的房间转一转,希望打听到哪怕一点点消息。但他不知道的是,他的每次到来都会让 Hinton 的两个学生手忙脚乱。

酒店所在的太浩湖空气又冷又干,Hinton 在这样的环境中很容易生病。因此,他在酒店房间自制了一套加湿器——把沙发垫子铺在床边,中间盖上熨衣板等比较长的物体,然后再把湿毛巾铺在上面。但是,Hinton 不想让余凯等科技巨头代表看到这套设备。用他自己的话来说就是:「我不想让他们看到我又老又衰( old and decrepit)」。因此,余凯每来一次,Hinton 的学生就要收拾一次。他还跟两个收床垫的学生说:「这是副总裁才能干的活儿。」

有一次,余凯离开房间时没有带背包。Hinton 和他的学生注意到了这个背包,他们想,要不要打开它?看看百度到底愿意出多少钱。但他们知道这样做不对,所以后来也没有打开。

随着拍卖过程的深入,他们很快发现,百度总是愿意出更高的价格:2500 万美元、3000 万美元、3500 万美元。后来,Hinton 把竞价窗口时间从 1 小时缩短到 30 分钟。随后出价迅速攀升到了 4000 万美元、4100 万美元、4200 万美元、4300 万美元。

Hinton 说:「感觉我们就像在电影里一样。」价格在午夜时分达到了 4400 万美元。这一刻,他再次暂停竞标,他需要睡觉。第二天, 大约在投标开始前 30 分钟,Hinton 发了一封电子邮件说开始时间要推迟一会儿。

大约一个小时后,他又发了一封宣告拍卖结束的邮件。Hinton 决定把他的公司卖给谷歌,而不是继续抬高价格。在给百度的电子邮件中,他说公司发送的任何其他信息都会转发给他的新雇主,但他没有说雇主是谁。

一场新的比赛开始了

Hinton 的背不好,他应该不会去中国。余凯猜到 Hinton 最终会去谷歌,或者至少是一家美国公司,但百度位列「竞拍者」之席总归是一件好事。在这次拍卖过程中,他们意识到深度学习技术将在未来的几年变得非常重要。

当 Hinton 宣布自己将以 4400 万美元的价格停止拍卖时,竞标者们认为他是在开玩笑——难道 Hinton 会放弃源源不断的美元?

其实对他来说,为自己的研究找到合适的归属比要价更重要。他们是学者,不是企业家,更忠于自己的想法,而不是其他任何东西。

Hinton 没有意识到他们的想法多么值钱,也没人意识到深度学习的兴起对全球科技发展的深远影响。深度学习让机器可以从大量的数据中学习经验并加以应用,甚至无人能够真正理解其背后的工作原理。其结果是一种新的计算类型,不仅比以前的任何东西都更强大,而且更神秘和不可预测。

但败也败在这种强大的能力,随着谷歌等多个科技巨头采用这项技术,越来越多的人意识到深度学习技术同时也学习了研究者本身的偏见。

竞拍结束后,余凯登上了回北京的航班,同在这一航班上的还有华人学者邓力。邓力也参加了 Hinton 的拍卖,代表的是微软。两人花了几个小时的时间讨论深度学习的崛起。但由于参与的是保密竞拍,双方都尽量规避与此次竞拍相关的话题。虽然没有明说,但两人都知道,新的竞争即将到来,这场拍卖就好比一声发令枪。他们的公司都要开始正视谷歌在深度学习领域的重大举措了。

这是一场全球军备竞赛的开始,在几年内以看似荒谬的方式迅速升级。

起初,这场竞赛只吸引了一小部分科学家,这些人主要分布在参与 Hinton 拍卖的四家公司。后来的事情我们也知道了,他们的研究工作大部分成为了科技行业的焦点。

彼时默默无闻的伦敦初创公司 DeepMind,在后来的十年内成长为最著名和最有影响力的 AI 实验室,其动力来自联合创始人 Demis Hassabis 的远大理想:制造能够实现通用 AI 的机器。Hinton 和 Hassabis 对这一目标的想法有些出入,但 2014 年 1 月,谷歌收购了 DeepMind,他们开始在同一家母公司的伞下从事研究工作。

最终,Facebook 和一家名为 OpenAI 的初创公司也将加入竞争,微软在 2019 年向后者投资了 10 亿美元用于开发通用 AI 平台。这些入局者之间的竞争将极大地加速人工智能的进步,包括对话数字助手、自动驾驶汽车、智能机器人、医疗保健等方面的应用,远远超过了 Hinton 团队的初衷。

离开 731 房间后,Hinton 登上了一列火车,准备返回多伦多——他仍然没有坐下。多年后,在 2017 年,当他被要求透露竞标他的初创公司的公司时,他以自己的方式回答了。

「我签了合同,永远不会透露我们和谁谈过。我和微软签了一个,和百度签了一个,和谷歌签了一个。」他没有提及 DeepMind,这意味着一些拍卖参与者直到现在才拿到当年竞争对手的完整名单。

参考链接:

https://www.wired.com/story/secret-auction-race-ai-supremacy-google-microsoft-baidu/

© THE END

转载请联系 机器之心 公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

点个在看 paper不断!

深度学习崛起那年,百度差点签下Hinton相关推荐

  1. 天才制造者:独行侠、科技巨头和AI|深度学习崛起十年

    来源|The Robot Brains Podcast 翻译|沈佳丽.胡燕君.贾川 一次技术蓬勃的背后,必然需要长时间的酝酿,更离不开决定这一爆发瞬间的少数关键人物.正因有了那些特立独行的天才,他们的 ...

  2. 深度学习崛起十年:“开挂”的OpenAI革新者

    来源|The Robot Brains Podcast 编译|OneFlow社区 AlexNet,AlphaGo,GPT.CLIP.DALL-E和Codex,这些在AI界轰动一时的杰作,对于任何一个A ...

  3. NVIDIA深度学习Tensor Core性能解析(下)

    NVIDIA深度学习Tensor Core性能解析(下) DeepBench推理测试之RNN和Sparse GEMM DeepBench的最后一项推理测试是RNN和Sparse GEMM,虽然测试中可 ...

  4. 【技术综述】深度学习中的数据增强(下)

    文章首发于微信公众号<有三AI> [技术综述]深度学习中的数据增强(下) 今天带来深度学习中的数据增强方法的下篇.我们将从以下几个方向入手.1,介绍一下什么是无监督的数据增强方法.2,简单 ...

  5. 深度学习中的知识蒸馏技术(下)

    本文概览: 写在前面: 这是一篇介绍知识蒸馏在推荐系统中应用的文章,关于知识蒸馏理论基础的详细介绍,请看我的这篇文章: 深度学习中的知识蒸馏技术(上) 1. 背景介绍 1.1 简述推荐系统架构 如果从 ...

  6. 【机器学习】【神经网络与深度学习】不均匀正负样本分布下的机器学习 《讨论集》

    39 条精选讨论(选自165条原始评论和转发)  机器学习那些事儿   2014-11-15 17:48 工业界机器学习典型问题: 正负样本分布极不均匀(通常<1:10000),有什么较好的方案 ...

  7. 【机器学习】【神经网络与深度学习】不均匀正负样本分布下的机器学习 《讨论集》...

    39 条精选讨论(选自165条原始评论和转发)  机器学习那些事儿   2014-11-15 17:48 工业界机器学习典型问题: 正负样本分布极不均匀(通常<1:10000),有什么较好的方案 ...

  8. [GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(下)

    这是本文的最后一部分内容了,前两部分内容的文章: [GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上) [GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复( ...

  9. docker制作深度学习镜像(以windows环境下为例)

    向AI转型的程序员都关注了这个号???????????? 人工智能大数据与深度学习  公众号:datayx 用 Docker 安装深度学习环境,轻量.方便!整个系统大小仅需2~3G,用完还能带着走!一 ...

最新文章

  1. spring原理案例-基本项目搭建 01 spring framework 下载 官网下载spring jar包
  2. 专门针对科学家工程师的僵尸网络
  3. 【考试战报】ORACLE OCP 19C考试通过
  4. Re:从零开始的Spring Session(二)
  5. java 线程池 资源回收_JAVA线程池资源回收的问题
  6. Java DOC 转换给 PDF 格式文档的代码
  7. anki 新的卡片类型_用 Anki 建立高效复习错题体系
  8. centos 多台 文件夹同步_win10+OneDrive,同步备份文件最佳搭档,这样关闭自动备份通知...
  9. Win10 启动项找不到ctfmon项,系统启动后无法输入文字怎么办?
  10. 现代文文言文转化器_初中语文丨7个文言文背诵技巧,不再为背书发愁,实用收藏...
  11. [Linux 文件权限] 持续更新Linux文件权限命令
  12. python pandas合并多个excel,Python pandas实现excel工作表合并功能详解
  13. html如何书页样式,CSS案例:实现书页任意折角效果
  14. (SWAT-2)SWAT中土地利用数据库建立
  15. 数字藏品NFT用的国内联盟链有哪些?
  16. 小狼的单身情话之HTML网页标签和段落的初级教学
  17. 程序员在面试时,如何回答未来规划方面的问题
  18. def demo什么意思python_Python之Turtle库Demo案例
  19. Zemax操作18--12倍激光扩束镜
  20. Python3的基本数据类型

热门文章

  1. 【转载】C语言编译全过程
  2. 学编程必看:逻辑思维测试
  3. 【组队学习】【29期】11. 青少年编程(Scratch 二级)
  4. Matlab与线性代数 -- 数组的表示,冒号的用法
  5. 开源社区的危机:拒绝被“白嫖”?2大著名项目遭作者破坏
  6. 阿里技术文档:Redis+Spring全家桶+Dubbo精选+高性能+高并发
  7. 上市之后,青云存储平台 QingStor 也要“进军”云原生
  8. 3行Python代码就能获取海量数据?
  9. 微软推出提点神器动态ReLU,可能是最好的ReLU改进
  10. 为什么说机器学习是预防欺诈的最佳工具?