李杉 编译自 AI Frontiers
量子位 出品 | 公众号 QbitAI

提到Google的AutoML，大家总会想到Jeff Dean、李飞飞，而实际上，这个项目背后还有一位贯穿始终的幕后英雄。

他是吴恩达的学生，Google Brain的创立者之一，也正是他的研究，为谷歌神经机器翻译打下了基础。

他就是Quoc Le。

一个名为AI Frontiers的科技博客对Quoc Le的研究做了比较全面的介绍，量子位翻译如下：

Quoc Le身材瘦弱，举止安静，戴着一副厚厚的眼镜，你很难想象他竟然在人工智能领域领导一场革命。

2011年，Le与他的博士生导师吴恩达，以及Jeff Dean和Greg Corrado两位谷歌研究员共同创办了谷歌大脑，目标是在谷歌庞大的数据背景下探索深度学习技术。在此之前，Le在斯坦福大学针对无监督深度学习开展了一些开创性工作。

2012年，Le在ICML会议上发表了一篇论文，引起了人们对深度学习的浓厚兴趣：他开发了一种深度神经网络模型，可以从来自YouTube的1000万张图片中，自动识别出猫，还能识别ImageNet数据集中的3000多种物体。

这也就是把谷歌大脑带到公众视线之中的“认猫事件”。

这个庞大的系统包含1.6万台机器和10亿个突触，比之前任何一次尝试的规模都要大100倍。Le的论文发表后，同年晚些时候有了AlexNet的论文，于是，整个深度学习领域都开始引人关注。

虽然后来的事实证明无监督机器学习在商业用途上有些不切实际——至少当时如此——但Le还是在2015年接受《连线》采访时表达了一种愿望：“如果我们能够找到一种可以发现（还可以通过同样的方式学习）的算法，那就太好了，因为更实际的情况是，我们掌握的非标记数据远多于标记数据。“

序列对序列学习

2013年毕业后，Le便正式担任谷歌研究员。在此之后，他很快在机器翻译方面取得了惊人的突破，这也是机器学习最活跃的研究领域之一。

为了实现这个结果，他必须突破在图像和语音领域效果很好的深度学习方法。已有的方法只能分析固定大小的输入信息，而在自然语言中，句子的长度各不相同，词语的顺序也很重要。

2014年，Le与谷歌研究员Ilya Sutskever和Oriol Vinyals一起提出序列到序列（seq2seq）学习方法。这是一种通用的编码器-解码器框架，可以训练模型将序列从一个域转换到另一个域，例如在不同语言之间实现语句翻译。

seq2seq所需的工程设计选择较少，能让谷歌的翻译系统高效而准确地处理庞大的数据集。它主要用于机器翻译系统，但也被证明适用于更广泛的任务，包括文本摘要、会话AI和问答。

接下来，Le发明了doc2vec，这种无监督算法从长度各异的文本片段（如句子、段落和文档）中学习固定长度的特征表示。

Doc2vec是谷歌研究员Tomas Mikolov 2013年推出的word2vec的扩展，word2vec的想法是，每个单词都可以用向量表示，而向量可以从一组文本中自动学习。Le向其中添加了段落向量，因此无论长度如何，模型都可以生成文档的表示。

Le的研究工作得到了回报。2016年，谷歌宣布推出神经机器翻译系统，它借助AI的学习能力，可以随着时间的推移，逐渐形成更好、更自然的翻译。

2015年，Le入选《麻省理工学院科技评论》评选的“35岁以下创新者”名单，原因是他致力于“让软件足够聪明，以帮助人们在日常生活中获得好的感受。”

AutoML：让神经网络学会自我提升

训练深度神经网络需要大量的标记数据和反复的实验：你可以选择一个架构，构建一些隐藏层，然后根据输出调整权重。对于机器学习专业知识有限的人来说，这个训练过程有些费时费力。

2016年，Le和另一位谷歌同事Barret Zoph提出了神经架构搜索。他们使用循环神经网络生成神经网络的模型描述，并使用强化学习训练这个循环神经网络，从而尽可能提升生成的架构在验证集上的预期准确率。

这种新方法可以帮助研究人员设计新网络架构，该架构在CIFAR-10数据集中测试精度，能匹敌最好的人工架构。

一年后，Le和Zoph将他们的研究提升到了一个新的水平，提出了NASNet-A，这是一个针对大规模图像数据集设计的可转换架构。

Le的研究为AutoML奠定了基础，这套谷歌产品的目标用户，是那些在机器学习方面专业能力和资源有限的开发人员。

尽管还很早期，但AutoML正在解决现实问题：有数据科学家使用AutoML建立了一个模型，可以根据面条图像识别出一家餐厅，准确度几乎达到95％。还有日本开发人员用AutoML构建了一个模型，可以根据品牌名称对图像进行分类。

谷歌今年早些时候推出了AutoML Vision。在上个月的谷歌Cloud Next会议上，该公司还发布了翻译和自然语言工具。

过去6年里，Le一直处于深度学习发展的最前沿。这位36岁的谷歌研究员现在准备将深度学习提升到新的水平。

原文：

https://medium.com/@aifrontiers/an-unassuming-genius-the-man-behind-google-brains-automl-4ddc801f3e9b

— 完 —

加入社群

量子位AI社群19群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态