【AI新星耀名校】陈天奇、朱俊彦、金驰加盟CMU、普林斯顿
点击“简说Python”,选择“置顶/星标公众号”
福利干货,第一时间送达!
新智元报道
来源:百度百科、个人主页等
编辑:金磊、小芹、张佳
本文转载自新智元,禁二次转载
【新智元导读】近日,三位年轻华人AI博士有了最新的职业规划:陈天奇、朱俊彦双双宣布将于2020年秋季加入CMU,担任助理教授;金驰则宣布今年9月加入普林斯顿,担任助理教授。
优秀,可能是一种习惯。
最近,三位华人AI大牛博士生的职业规划有了最新的进展:
XGBoost作者陈天奇宣布2020年秋季加入CMU,担任助理教授;
CycleGAN作者朱俊彦宣布2020年秋季加入CMU,担任助理教授;
ICML 2018研讨会“RL探索”最佳论文奖得主金驰宣布2019年9月加入普林斯顿,担任助理教授。
三位AI大神的博士生涯即将告一段落,等待他们的是更富挑战、更具意义的科研工作。正如陈天奇和朱俊彦在Twitter中表示,他们都希望在各自的领域做出更多贡献。
恭喜!加油!
华盛顿大学博士生、著名机器学习算法XGBoost,深度学习编译器TVM等的作者陈天奇近日在Twitter上宣布,将于2020年秋季加入CMU机器学习系担任助理教授。
陈天奇说:
我将于2020年秋季加入CMU担任助理教授。我非常感谢我的导师、合作者和华盛顿大学在我的博士生涯中给予我的帮助。期待与CMU同事合作,为未来的智能系统进行更多研究。
陈天奇博士就读于华盛顿大学保罗·G·艾伦计算机科学与工程学院,在上海交通大学ACM班获得硕士和学士学位。
陈天奇
谷歌AI负责人Jeff Dean、GAN发明者Ian Goodfellow、CMU副教授马坚等人都表示了祝贺。
AI大牛李沐也在知乎上透漏了一点陈天奇加入CMU的历程:
两点感慨:
1. CMU 很早就开始做 system 和 machine learning 结合的研究(2011 年左右吧),经过前期很多探索和弯路(错过了好几个 super star),终于招到了最合适的年轻老师。天奇之前还在纠结要不要去 CMU,终于决定了。这是 CMU 的一大幸事。
2.比较间接的了解了天奇的找 faculty 之路,感慨是有好的工作是前提,但对方学校欣赏也很重要。至少你去面试的 host 需要很欣赏你的工作。例如我很喜欢 TVM 的工作,我们组也有好几个成员投入在 TVM 上,所以经常出门推销。过程中发现我之前 CMU 的系统方向老板也很喜欢(天奇的 CMU 面试 host),我以前在 CMU 的办公室友很喜欢(天奇纠结的另一个 offer 的 host),我们组 TVM tech leader 的老板也很喜欢(另一个发 offer 的 top 学校的大佬)。此外,比较遗憾是另外几个非常强的学校没有跟进。我个人是很希望天奇能去 standford 或者 berkeley,这样未来合作更方便(CMU 实在是太偏了,湾区去匹兹堡的直达似乎都没了)。没拿到也不意外,之前跟他们几个大佬老师聊的时候,似乎对这一块不感兴趣。
(https://www.zhihu.com/question/329657835/answer/717971252)
“有好的工作是前提”。陈天奇的博士生涯中,做了不少被广泛采用的好工作。在他的主页上,他写道:“我对机器学习和系统的交叉研究十分感兴趣。这个领域真正令人兴奋的地方在于,当我们将先进的机器学习技术和系统结合在一起时,能够实现什么。此外,我也在推动深度学习、知识迁移和终身学习(lifelong learning)等方向。”
陈天奇获得了Google Ph.D. Fellowship、2012年KDDCup冠军、2011年KDDCup亚军等奖项,在ICML、ICLR、NeurIPS、KDD等人工智能顶会发表多篇论文。
陈天奇Google scholar引用数据
陈天奇和团队开发了三个被广泛采用的机器学习系统:
TVM stack:一个用于深度学习的自动端到端优化编译器。
XGBoost,一个可扩展的、端到端的tree boosting系统。这个工具已经成为数据科学家每天使用的工具之一。
Apache MXNet(共同作者):目前AWS采用的主要深度学习框架之一。
XGBoost
先看XGBoost,XGBoost 最初是一个研究项目,由当时在 Distributed (Deep) Machine Learning Community (DMLC) 组里的陈天奇负责。
2014 年,时为华盛顿大学博士的陈天奇开源 XgBoost 算法,受到大众追捧,之后它也迅速成了 Kaggle 竞赛中的常客。
时至今日,XgBoost 在竞赛中的使用率还是很高,性能也很好,不少夺冠方案中都有它的身影,被誉为比赛夺冠的大杀器。
TVM Stack
陈天奇的另一个重要工作是TVM。
TVM是一个神经网络编译器,它可以直接从其他框架训练好的模型编译到目标平台上的可执行代码,速度和显存的都有大幅优化。TVM使得自动或者半自动生成的代码能够达到手写代码的效果。
TVM的框架
陈天奇把 TVM+NNVM 描述为 “深度学习到各种硬件的完整优化工具链”。他在知乎上对TVM进行了解释:
TVM 尝试从更高的抽象层次上总结深度学习 op 的手工优化经验,用来使得用户可以快速地以自动或者半自动的方法探索高效的 op 实现空间。
TVM 和已有的解决方案不同,以 XLA 作为例子,TVM 走了和目前的 XLA 比更加激进的技术路线,tvm 可以用来使得实现 XLA 需要的功能更加容易:已有的解决方案本身基于高级图表示的规则变换,可以产生一些图级别的组合 op 优化,如 conv-bn fusion,但是依然要依赖于手写规则来达到从图的表示到代码这一步。图的 op 表示到代码本身可以选择的东西太多,如何做线程,如何利用 shared memory,而大部分没有在图语言里面得到刻画,导致难以自动化。 这样下去深度学习系统的瓶颈必然从 op 实现的复杂度变成了实现 graph compiler 中模式生成规则的复杂度。走这个方向需要非常大的工程团队的支持,而我们希望采用更少的人力达到同样甚至更好的效果。
我们采取了风险更大但是回报也更大的长远技术路线。简单地说,TVM 通过把图到 op 生成规则这一步进一步抽象化,把生成规则本身分成各个操作原语,在需要的时候加以组合。基于 tvm 我们可以快速地组合出不同的 schedule 方案。
链接:https://www.zhihu.com/question/64091792/answer/217722459
此外,陈天奇还和李沐一起,是 DMLC(Distributed (Deep) Machine Learning Common) 及其主要项目 MXNet 的主要 发起人和主要贡献者之一。
加入CMU后,陈天奇将继续发表哪些工作令人期待。有人表示,CMU 大概率迎来史上第一门 AI systems 课。
与此同时,另一位AI大神朱俊彦也表示将在2020年秋季回到CMU,担任助理教授一职。
6月14日,朱俊彦在其Twitter上宣布:
在加州大学伯克利分校和麻省理工学院CSAIL度过了美好的时光之后,我将于2020年秋季回到CMU担任助理教授。我期待在图形、视觉和机器学习的交叉领域做更多的工作。
2012年,朱俊彦获得了清华大学计算机系的工学学士学位。而后便前往CMU和UC Berkeley深造,经过5年的学习,朱俊彦于2017年获得了 UC Berkeley 电气工程与计算机科学系的博士学位(他的导师是 Alexei Efros,博士研究由一项 Facebook 奖学金支持)。
他的博士毕业论文Learning to Generate Images,获得了计算机图形学顶会ACM SIGGRAPH 2018“杰出博士论文奖”。
朱俊彦博士可谓是计算机图形学领域现代机器学习应用的开拓者。他的论文可以说是第一篇用深度神经网络系统地解决自然图像合成问题的论文。
因此,他的研究对这个领域产生了重大影响。他的一些科研成果,不仅为计算机图形学等领域的研究人员所用,也成为视觉艺术家广泛使用的工具。
其中,最为公众所熟知的便是CycleGAN。
CycleGAN利用pixel2pixel技术,能自动将某一类图片转换成另外一类图片,过度真实自然,可以说是2017年最受关注的模型之一。
不仅仅是CycleGAN,朱俊彦还有诸多家喻户晓的科研成果。
英伟达在GTC 2019上推出了一个令人惊叹的图像生成器——GauGAN,可以说是凭借几根线条,草图秒变风景照。而朱俊彦便是作者之一。
论文地址:https://arxiv.org/pdf/1903.07291.pdf
这个软件能够将人类的绘画方式和过程进行编译,在几秒钟内就能画出草图,并将其转换为逼真的照片。从软件的早期演示中,它似乎能够做到这一点。
此外,最近爆火的也是朱俊彦的杰作。
这个神奇手套名为“可伸缩触觉手套”(scalable tactile glove,STAG),使用柔性材料,在几乎整只手上布置了550个微型传感器。仅使用触觉数据,AI系统识别物体的准确率高达76%。
实验还证明,大量的压力图及其空间分辨率是成功识别目标的关键。并且类似的深度学习模型可以估计未知物体的重量。结果显示,重量在60克以内的物体大部分都能准确估计出来。
这项工作还发表在了国际科技期刊《Nature》。
论文地址:
https://www.nature.com/articles/s41586-019-1234-z
除上述这些非常出名的成就外,朱俊彦的其它工作也是非常出彩的。更多科研成果可以访问下方个人主页:
朱俊彦个人主页:
http://people.csail.mit.edu/junyanz/#sect-awards
2018 年,朱俊彦获得了 UC Berkeley 颁发的 David J. Sakrison Memorial Prize,以及英伟达的 Pioneer Research Award。
他还曾获得过以下奖项和奖学金:
ACM SIGGRAPH杰出博士论文奖(2018年)
伯克利EECS(2018年)David J. Sakrison杰出博士研究纪念奖
NVIDIA先锋研究奖(2018年)
Facebook奖学金(2015年)
清华大学优秀本科毕业论文(2012)
清华大学优秀本科生(2012年)
国家奖学金,由中国教育部颁发(2009年和2010年)
新加坡科技工程中国奖学金(2010年,2011年和2012年)
金驰目前是加州大学伯克利分校电气工程与计算机科学(EECS)专业的6年级博士生,师从Michael I. Jordan。他也是RISELab和伯克利人工智能研究(BAIR)的成员。在此之前,金驰获得了北京大学物理学学士学位,并在王立威教授的指导下完成了本科论文。
金驰的研究兴趣在于机器学习、统计和优化。他博士研究的主要目标是设计更好的学习算法,这些算法在理论上是健全的,在样本复杂性、运行时间和空间上是有效的。为了实现这一目标,他的研究重点是提供对非凸优化中基本问题的更深入理解,以及最近的强化学习。
金驰将于2019年9月加入普林斯顿大学电气工程系,担任助理教授。他还将参加2019年秋季IAS的“优化、统计和理论机器学习特别年”。
金驰与导师Michael I. Jordan合作的论文:
On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems(关于非凸 - 凹极小极大问题的梯度下降问题)
Stochastic Gradient Descent Escapes Saddle Points Efficiently(随机梯度下降有效地逃脱鞍点)
A short note on concentration inequalities for random vectors with subgaussian norm(关于具有subgaussian norm的随机向量的集中不等式的简短说明)
Minmax Optimization: Stable Limit Points of Gradient Descent Ascent are Locally Optimal(Minmax优化:梯度下降上升的稳定极限点是本地最优的)
Sampling can be faster than optimization(采样可能比优化更快)
On the local minima of the empirical risk(论经验风险的局部极小)
Is q-learning provably efficient?(q-learning是否可证明有效?)——2018年ICML研讨会“RL探索”最佳论文
Stochastic cubic regularization for fast nonconvex optimization(用于快速非凸优化的随机三次正则化)
Accelerated gradient descent escapes saddle points faster than gradient descent(加速梯度下降比梯度下降更快地逃脱鞍点)
How to escape saddle points efficiently(如何有效地逃脱鞍点)
Gradient descent can take exponential time to escape saddle points(梯度下降可以采用指数时间来逃离鞍点)
更多论文参见金驰谷歌学术主页:
https://scholar.google.com/citations?user=GINhGvwAAAAJ&hl=en
新闻:
2018年10月,在第56届Allerton大会上作了受邀演讲。
2018年7月,论文“Q-Learning是否可证明有效?”在ICML 2018研讨会“RL探索”中获得最佳论文奖。
2018年7月,联合举办了ICML 2018研讨会“机器学习非凸优化的现代趋势”。
2017年7月,关于如何有效逃离鞍点的博客帖子。
教育经历:
2013年至今
加州大学伯克利分校
计算机科学博士生
2012-2013
多伦多大学
统计学客座学生
2008-2012
北京大学
物理学学士
实习经历:
2016年夏季
微软研究院,Redmond
Dong Yu研究实习生
2015年夏季
微软研究院,新英格兰
Sham Kakade研究实习生
金驰个人主页:
https://sites.google.com/view/cjin/home
仔细阅读下面四篇文章,2小时快速掌握Python基础知识要点。
完整Python基础知识要点
我是老表,转发分享本文,是对我最大的支持。
【AI新星耀名校】陈天奇、朱俊彦、金驰加盟CMU、普林斯顿相关推荐
- 【大神】陈天奇:机器学习科研的十年
点击上方蓝色字体,关注:决策智能与机器学习,每天学点AI干货 以下为陈天奇发表在知乎中的文章,AI科技评论获权转载.点击文末「阅读原文」可跳转其知乎文章页面. 十年前,MSRA 的夏天,刚开始尝试机器 ...
- 陈天奇的tvm更新了:VTA,开源AI芯片栈
陈天奇 发表于 tvm社区 量子位 搬运 | 公众号 QbitAI 华盛顿大学陈天奇博士近日在tvm社区介绍了VTA(Versatile Tensor Accelerator)项目,量子位全文搬运如 ...
- 华盛顿大学成立SAML实验室:陈天奇参与,推进未来AI系统全栈研究
安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI △ 陈天奇 昨天,TVM.XGBoost.cxxnet等机器学习工具的作者陈天奇宣布,自己所在的华盛顿大学新成立了一个实验室,组织代号& ...
- 探索编译软件栈新范式;高端GPU禁售的影响;陈天奇DL系统免费课程|AI系统前沿动态
1. 高端GPU禁售传闻声起,BAT们遭遇紧张时刻 互联网企业成为此次制裁波及的主要对象.行业人士指出,互联网厂商出于对性能等因素考虑,对国产CPU.GPU普遍接纳度不高,此次事件应为互联网厂商预警, ...
- iPhone直接跑大模型!陈天奇等人新作引爆AI界,算力不是问题了
©作者 | 机器之心编辑部 来源 | 机器之心 从此,大模型可以在任何设备上编译运行. 「我把大语言模型下到我的 iPhone 上,它神奇地跑起来了!」 五一假期还没过完,大模型领域的技术就已经发展到 ...
- 陈天奇等人新作引爆AI界!手机原生跑大模型,算力不是问题了
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入->[Transformer]微信技术交流群 转载自:机器之心 从此,大模型可以在任何设备上编 ...
- 陈天奇等人新作引爆AI界
来源:机器之心 「我把大语言模型下到我的 iPhone 上,它神奇地跑起来了!」 对于陈天奇等人开源的新技术,大家一致的评论是「Amazing」. 最近人们都在研究 ChatGPT,大语言模型(LLM ...
- 陈天奇明年将加入CMU出任助理教授
问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI 又一位年轻学者加入CMU. 华盛顿大学博士生.SAMPL Lab和MODE Lab成员陈天奇,今天在推特上宣布,将于明年秋天加入卡内基梅隆大 ...
- 陈天奇任CTO,TVM团队成立OctoML:让任何硬件都能部署机器学习模型
陈天奇任CTO,TVM团队成立OctoML:让任何硬件都能部署机器学习模型 据机器之心消息,知名人工智能青年学者.华盛顿大学博士陈天奇于近期参与创建了创业公司 OctoML,担任 CTO 一职. 随着 ...
最新文章
- 面试官:消息队列这些我必问!
- 谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时
- 【C++ 语言】面向对象 ( 继承 | 重写 | 子类调用父类方法 | 静态多态 | 动态多态 | 虚函数 | 纯虚函数 )
- 网络互连基础——笔记
- win10安装Navicat 12 for MySQL
- C语言程序设计 数组,结构体和指针练习题
- IDEA下SVN基本使用
- Problem E: 平面上的点——Point类 (II)
- oracle加密可以跟java一致吗,在GBase 8s上使用java udr实现Oracle兼容的加密解密功能...
- 发布半年依旧无对手!网友:我怎么没听说...
- 【javascript】ajax 基础(转)
- 稻盛和夫《干法》读后感
- 解释术语 计算机系统结构,北京邮电大学 计算机系统结构(体系结构) 期末复习 术语解释.doc...
- 2020年,这个算法团队都干了啥?
- 仿抖音写上下滑动切换视频
- js判断身份证是否合法
- 转一篇有关竞争对手LANDESK CEO的故事
- 【归档】Prove that the set of continuous real-valued functions on the interval [0, 1] is a subspace...
- Java SE, Java EE, Java ME都是什么?有什么区别?
- 超详细的Linux安装Redis单机版教程