价值连城生成对抗网络(Gans) 的作者Ian Goodfellow的采访给深度学习从业者的建议

您好 Ian 感谢您接受采访

您好 Andrew 感谢您的邀请我很高兴能来到这里

现在你是世界上最炙手可热的深度学习研究者之一请和我们一起来分享一下你的个人故事你是怎样决定进入这个领域的呢

好的我想我最开始对机器学习感兴趣是在认识你以前之前我一直致力于研究神经系统科学而我斯坦福的本科导师Jerry Cain鼓励我选修你的AI入门课程

哈哈我现在刚知道这事

所以在此之前我一直都认为AI是一个很好的概念但谈到在实际生活中的应用我理解为主要体现在游戏中有很多事先编码的规则让一些非玩家控制的角色在不同的时间点按脚本说出不同的话然后在你的AI入门的课程上你讲解了诸如线性回归和线性回归误差的偏差和方差分解我才开始意识到这是真正的科学和神经科学相比，不如在人工智能方面开启一段科学职业生涯

我明白了很棒那之后呢

之后我回到学校成为你的课程的助教噢是的想一个助教其实对我来说成为这门课的助教是我生命中一个非常大的转折点其中的一个学生我的朋友Ethan Dreifuss 对Geoff Hinton的深度信念网络论文很感兴趣最后在斯坦福我们两个利用寒假的课余时间一起搭建了第一台以GPU CUDA为基础的机器并用它来运行玻尔兹曼机在那时我的直觉告诉我深度学习是未来的主要发展方向我也曾使用过许多其它的算法比如支持向量机但结果并不理想训练集越多算法计算得越慢或者对于相同数量的训练集很难在改变其他参数的情况下获得很大的性能提升从那时开始我就全力以赴投入深度学习中了

我记得Richard Reyna有一篇很古老的GPU论文他在论文中的致谢部分感谢你做了大量的前期工作

是的那篇论文用到了我们搭建的一些机器嗯我搭建的第一台机器是Ethan和我用我们自己的钱在他妈妈家里组装的在那之后我们拿实验经费为斯坦福搭建了第二和第三台机器太棒了我从未听说这个故事实在是太棒了

如今基于之前你发明的生成对抗网络(Gans) 产生了一场席卷深度学习领域的风暴你是怎么产生这个想法的呢

我研究生成模型有很长一段时间了生成对抗网络是一种生成模型当你有很多训练数据并且你希望生成更多的虚构数据来加入训练集在过去并没有出现过这种形式在我产生生成对抗网络这个想法之前曾有一些著名的方法用来生成模型在我攻读博士期间我尝试过其它所有的方法比如玻尔兹曼机和稀疏编码还有其它著名方法我非常了解这些方法的优势和劣势同时我也在寻找能避免所有劣势的机制最后当我在酒吧和我的朋友争论生成模型的时候灵光一现我告诉朋友们你们需要做这个这个这个和这个并且我用人格担保这一定成功但是他们没有相信我我本来准备写一本关于深度学习的教科书但是我有强烈的自信一定能成功我赶紧回家写出了算法模型并且真的成功了

所以你只用了一晚上就完成了生成对抗网络的第一个版本？

我离开朋友在酒吧举办的欢送会回到家后差不多在凌晨这个算法模型诞生了第一版就能完美运行非常非常幸运我不用再去查找超参数或者其他东西

我之前在某个地方读到一个故事你曾有一次濒临死亡而这让你更为执着地从事人工智能研究能不能和我们分享一下

好其实当时我并没有垂死但以为自己命不久矣我当时头痛欲裂感觉要炸了医生说我可能有脑出血当我等待MRI结果想看看情况到底有多糟糕的时候我突然意识到当时我主要考虑的是要确保能够有人能够接手我的研究方向并继续下去然而回想起来那是一些非常可笑的研究方向但这个经历让我意识到实际上我人生中最重要的事情之一是从事机器学习研究的工作

我了解了非常好当你以为自己快要死去的时候你只是关心不要让研究半途而废嗯看来你已经找到了生命的真谛嗯现在你仍然活跃在很多关于生成对抗网络研究的活动中能不能给我们讲讲你怎么看待生成对抗网络的未来

现在生成对抗网络被用在很多不同的领域比如半监督学习为其它模型生成训练数据甚至是模拟科学实验理论上这些事情都可以用其他的生成模型来完成因此我认为生成对抗网络正处于一个很重要的抉择关头现在它们在很多时候能取得不错的效果但是如果要真正发挥出它们的性能更象是一门艺术而非科学这有点象10年前人们对深度学习的感受当时我们使用以玻尔兹曼机为基础的深度信念网络但它们非常非常挑剔我们逐渐开始使用Relu函数和批标准化这使深度学习变得更加可靠了如果我们能够将生成对抗网络变得和深度学习一样可靠我想我们就能持续发现生成对抗网络在今天这些应用领域拥有比现在更成功的应用表现如果无法找出让生成对抗网络更为稳定的方法那么我想它对深度学习的主要贡献就是展示给人们怎样使用生成模型来完成这些任务最后我们会用其它形式的生成模型来取代生成对抗模型所以现在我大约用了40%的时间来让生成对抗网络变得更稳定

我明白了很赞那么就像10年前有很多人投身于深度学习领域一样比如你最终会成为行业先锋也许如今加入研究或使用生成对抗网络的人如果能成功的话最终也会开拓一片新天地

是的很多人已经成为生成对抗网络的前期领航人我觉得假如你想给生成对抗网络勾勒出一些历史故事的话不得不提到一些团队比如Indico 和Facebook以及伯克利实验室做出的各种贡献

那么除了你的研究你还合著了一本关于深度学习的书能不能和我们分享一下?

是的和Yoshua Bengio以及Aaron Courville一起写的他们是我的博导我们编写了第一本关于现代深度学习的教科书有英文和中文两个版本这本书获得了大家的肯定两个版本加起来一共售出了大约有7万本很多学生反馈这本书让他们获益匪浅在编写这本书时与其他书有一点不一样的是我们最开始强调在涉足深度学习领域时所需要用到的数学基础知识你在斯坦福的课程中提到线性代数和概率论是非常重要的数学基础这让我记忆深刻大家听到机器学习的算法都会非常兴奋但是如果真的想成为一个杰出的从业者必须精通这些基础数学否则无异于建造空中楼阁所以我们在这本书的开始部分就集中列出了所需的数学基础知识这样你就不用去学习所有的线性代数的知识而是可以迅速了解那些对于深度学习来说非常重要的学习算法所需要用到的线性代数方面的基础因此对于一些数学并不是很好或者很多年都没有接触过数学的人来说这个部分可以让他们无需其他教材

从这本书中直接学习所需要的知识再开始深度学习的学习是这样吗?

所有你需要知道的知识都在那里这必然也需要花一些精力去学习和实践嗯嗯好很好如果有的人确实很害怕数学这可能会有一点痛苦但是如果你已经下定决心去学一些东西并且坚信可以掌握它我想所有你需要的东西都在书里了对于像你这样在深度学习领域沉浸了很长时间的人来说

我比较好奇如果你现在回首过去能不能和我们分享一下你觉得人工智能和深度学习这些年都发生了怎样的演变

十年前我觉得机器学习领域像是一个社区在机器学习里最大的挑战是如何利用深度学习来完成人工智能相关的任务在一些很简单的任务上其实我们有一些非常好的工具比如识别提取特征的规律人类的设计师可以做许多工作来创造一些特征然后提交给计算机而现在这同样适用于很多不同的领域比如预测某一个用户可能会点击广告比如做一些基础的科学研究分析但真正困难的是分析一个图像里上百万的像素或者一段音频波形文件这需要系统从无到有建立学习体系大约5年前我们解决了这个障碍现在我们所处的时代愿意加入人工智能领域的研究者可以选择许多不同的方向或许现在最难的部分是让他们决定该走哪一个方向你想让强化学习和监督学习一样成功吗? 你想让无监督学习和监督学习一样成功吗? 你想要确保机器学习的算法很均衡避免我们想要杜绝的偏差吗? 如果能确保人工智能在社会上不会引发问题例如引起社会动荡和造成大量人类失业那我们就能保证每个人都可以受惠于人工智能我想现在的确有很多非比寻常的事情我们可以做在预防人工智能带来负面影响的同时确保我们能利用它带给我们的好处

现在有很多人想参与AI工作你能给他们分享下你的建议吗？

我想很多想从事AI工作的人开始会想他们绝对需要获得博士学位或者其它类似的证书我觉得这实际上不是一个硬性要求有一种获得大量关注的方式是写点好代码然后放到GitHub上如果你有一个有趣的项目解决了在顶级水平工作的人员想要解决的问题一旦他们发现你的GitHub库他们会去找你邀请你一起工作去年我在OpenAI以及今年我在谷歌招聘的很多人员都是这种类型我第一次对与他们共事感兴趣是因为我看到了他们在互联网上的开源论坛上发布的一些代码另外通过写论文并且把论文发布到arxiv.org也很好有时候在反复锤炼某个理念之后足以真正在学术界做出新的学术贡献但很多时候达到这一点比较难相比之下通常创造出有用的软件产品到达这一高度的时间要短的多

所以认真读书练习相关材料把它放到GitHub 或者arxiv.org上

我觉得如果你通过看书学习那么同时做项目也真的很重要或者选择一种合适的方式把机器学习的知识应用到你已经感兴趣的领域中比如如果你是一个野外生物学家你希望进入深度学习领域或许你可以使用深度学习来鉴别鸟类或者如果你不知道在你的生活中如何应用机器学习你可以挑选一些东西来实践比如创造一个街景门牌号分类器其中所有的数据集已经有了对你来说相当简单采用这种方式你可以在阅读课本或观看Coursera讲解概念的视频时练习所有的基本技能

那么最近几年我看到你在对抗样本方面做了许多工作能跟我们谈一谈吗？

当然可以我认为对抗样本开启了一个新的领域我把它称为机器学习安全过去我们见过一些计算机安全问题其中攻击者可以愚弄计算机让它执行错误的代码这被称为应用级安全还有一种假冒身份的攻击人们可以愚弄计算机让它相信网络中的消息来源于某个人但实际上并不是它们说的那个人这被称为网络级安全现在我们可以看到你也可以愚弄机器学习算法让它们做它们不应该做的事情即使运行机器学习算法的程序执行了正确的代码即使运行机器学习算法的程序知道所有这些信息是来自于谁所以我觉得在开发一项新技术的起步阶段就要把构筑安全性放在重要位置我们发现先构建一个可以运行的系统再添加安全这是非常困难的所以当我听到如果我们现在深入进去开始预测机器学习面临的安全问题这一理念时真的非常激动我们可以确保这些算法一开始就很安全而不是若干年后想方设法从头开始打补丁

谢谢太棒了我觉得你的故事里面有很多迷人的地方虽然我们已经认识了很多年但是我实际上并没有真正了解你所以谢谢您今天的分享

偶不客气谢谢您邀请我这是个很好的机会好谢谢大家谢谢
翻译 | 审阅：Cousera Global Translator Community

价值连城生成对抗网络(Gans) 的作者Ian Goodfellow的采访给深度学习从业者的建议相关推荐

生成对抗网络入门详解及TensorFlow源码实现--深度学习笔记
生成对抗网络入门详解及TensorFlow源码实现–深度学习笔记一.生成对抗网络(GANs) 生成对抗网络是一种生成模型(Generative Model),其背后最基本的思想就是从训练库里获取很多 ...
生成对抗网络GANs理解（附代码）
生成对抗网络GANs理解(附代码) 原文地址: http://blog.csdn.net/sxf1061926959/article/details/54630462 生成模型和判别模型理解对抗网络 ...
判别两棵树是否相等设计算法_一文看懂生成对抗网络 - GANs？（附：10种典型算法+13种应用）...
生成对抗网络 – GANs 是最近2年很热门的一种无监督算法,他能生成出非常逼真的照片,图像甚至视频.我们手机里的照片处理软件中就会使用到它. 本文将详细介绍生成对抗网络 – GANs 的设计初衷.基 ...
掌握生成对抗网络(GANs)，召唤专属二次元老婆（老公）不是梦
全文共6706字,预计学习时长12分钟或更长近日,<狮子王>热映,其逼真的外形,几乎可以以假乱真,让观众不禁大呼:awsl,这也太真实了吧! 实体模型.CGI动画.实景拍摄.VR等技术娴 ...
生成对抗网络GANs
生成对抗网络GANs(Generative Adversarial Nets from datetime import datetime import tensorflow as tf import ...
一文读懂生成对抗网络GANs（附学习资源）
原文标题:AnIntuitive Introduction to Generative Adversarial Networks 作者:KeshavDhandhania.ArashDelijani 翻 ...
小说生成对抗网络GANs
1.前言机器学习可以分为两类模型,一种是判别模型(discrimination model),给定一个输入,通过模型判别输入的类别.另一种是生成模型(generative model),给定输入,通 ...
【干货】生成对抗网络GANs算法在医学图像领域应用总结
Goodfellow等人,介绍了生成对抗网络(GAN)以模拟数据分布.由于与两个基本属性相关的原因,GAN可以合成真实图像. GAN是一种无监督的训练方法,可以通过类似于人类学习图像特征的方式获取信息 ...
Nikolai Yakovenko大佬：深度学习的下一个热点：生成对抗网络(GANs)将改变世界
生成式对抗网络-简称GANs-将成为深度学习的下一个热点,它将改变我们认知世界的方式. 准确来讲,对抗式训练为指导人工智能完成复杂任务提供了一个全新的思路,某种意义上他们(人工智能)将学习如何成为一个 ...
深度学习的下一个热点：生成对抗网络(GANs)将改变世界
本文作者 Nikolai Yakovenko 毕业于哥伦比亚大学,目前是 Google 的工程师,致力于构建人工智能系统,专注于语言处理.文本分类.解析与生成. 生成式对抗网络-简称GANs-将成为深 ...

价值连城生成对抗网络(Gans) 的作者Ian Goodfellow的采访给深度学习从业者的建议

价值连城生成对抗网络(Gans) 的作者Ian Goodfellow的采访给深度学习从业者的建议相关推荐

最新文章

热门文章

价值连城 生成对抗网络(Gans) 的作者Ian Goodfellow的采访 给深度学习从业者的建议

价值连城 生成对抗网络(Gans) 的作者Ian Goodfellow的采访 给深度学习从业者的建议相关推荐

最新文章

热门文章

价值连城生成对抗网络(Gans) 的作者Ian Goodfellow的采访给深度学习从业者的建议

价值连城生成对抗网络(Gans) 的作者Ian Goodfellow的采访给深度学习从业者的建议相关推荐