田渊栋:博士五年总结
作者:田渊栋http://yuandong-tian.com/five_year_summary_of_PhD.pdf个人主页:http://yuandong-tian.com/
前言
田渊栋博士目前担任Facebook人工智能研究院研究员/研究经理
原文共分为六节,考虑若全文po出,篇幅较长。为了更好的阅读体验,故将分成六篇推文进行介绍。第一篇详见:田渊栋:博士五年总结(一)
博士五年总结(二)
回到刚才的话题,自己刚入cmu的时候,因为种种原因没有选到理想的导师,不知如何是好,就向师兄征询意见。师兄劝我说:“其实这些都不重要,重要的是你可以从他那里学到什么,我认为他人不错,另外演讲和写作技能非常好。”
事实证明师兄说的话是对的。选导师,他做什么研究并不是最重要的,比这更重要的,是人品及交流和表达能力。我导师人品相当不错,对学生既严格又负责,也不拖毕业的时间。我从他那里学到最多的,其一是演讲,其二是写作。
先来谈谈写作。
以我五年的经验来看,其实中国人写作的最大瓶颈并不是英语能力,而是组织。论文的英语水平充其量是高中水准,多看几篇就大致可以掌握词汇和句型,更何况很多论文都不是以英语为第一母语的研究者们写的,照样拿最优论文奖,照样在学术圈产生极大影响力。
但在组织上,我们的论文确实问题多多。我就犯过很多错误。其一是挤牙膏,通过堆砌句子来达成长度要求,这个可能和我们从小要求文章有字数下限有关,结果就造成文章空洞,许多句子许多段落翻来覆去同一个意思,让人倒胃口。其二是把文章写成技术报告,先做啥,再做啥,最后做啥,实验结果是啥,没了。至于为什么这样做,原因是什么,是什么激发了这样的思考,这样的方法对什么样的数据会有效,有什么局限,全都不知道。(潜台词是:是老板让我这样做的,我只想毕业,有问题别来找我……)论文是要引人深思的,要给人启发的,要让人受教的,要让读者读完后,觉得这篇文章公正地评价了前人的工作,明白这篇文章的创新意义所在,并且同意作者的出发点,认为这是一个很有前途的方向才行。
本质上来说,产生这两个问题的原因是懒得思考。论点挖不深,导致觉得没啥好写只好挤牙膏;方法想不透,于是便罗列若干步骤草草了事。其实只要稍微想下,就能补上很多东西。
举个例子,写目标函数是什么,如何用梯度下降优化,数学上就两个公式,但是段落里可以说明如何选初始点,初始点在这个具体应用中的意义何在,如何取步长,为何这样选,收敛速度通常多快,哪里可以加速,哪里可以并行化再加GPU,等等,这样内容就丰富多了。又比如,一个算法的若干步骤,本来是毫无意义的流程图,但在介绍它之前做些解释,阐明设计的一些基本原则,然后在解释每步时充分使用这些原则,那读来就会觉得容易接受得多。
克服了这两点,做到开局有理有据,正文言之有物,实验让人信服,那这篇文章基 本上可以中稿了。接下来,就可以进入高级模式了。
首先,立意要高远。一篇文章规矩着写,说“我们加了新特征,因为新特征针对数 据集的某些特性建模,实验效果更好”,虽然基本可被录用,但一般不会出彩;如果说“我们建立了新的框架,统一了以前的诸多方法,在这个框架下,算法能自动分析数据加入新特征,实验效果更好”,那这篇就有戏。
为什么呢?工业界看重效果 ,因为效果和经济利益直接挂钩;而学术界是想要为一个领域找一个简洁明了的理论,是要仰望星空,问天几何的——因此每一篇好文章,都必须建造出自己的一套世界出来,给出自己的世界观和方法论,在这个宏大的图景下,给前人的工作标好地位,给自己的工作定下基调,然后拿着这张画好的地图,去解决实际问题。
而所谓的博士研究和博士论文,则是在一套统一自洽的世界观下,含有两至三篇或者更多的文章,以证明这套世界观的合理性。
这听起来像是忽悠的游戏。因为像计算机视觉这种实用的领域,哪有那么多理论可挖。是的,在一定程度上确实如此。但是建筑世界观本身,会促使研究者对已有的 工作进行排列,得到新的启发,看到新的联系,因此仍然是对研究本身有益的。有 些表面上的联系可能被证明是偶然,但有些则会揭示本质,促进人们深化认识,为 将来的突破性进展作准备。另一方面,功利地来说,有一个宏大的世界观有利于一 位博士生发大量文章,早点毕业:-)
其次,故事要流畅。我老板说过,一篇好的文章,就如同带着读者在一个花园里行 走,路面平坦舒适,左边有山,右边有水,引人入胜,读者漫步欣赏美景,走过亭 台楼阁,一点不费劲,一下子就逛完所有还意犹未尽。迄今为止,我对这种抽象的诗一般的表达还不能完全理解,但是既然他声称读完了所有哈利波特的同人小说, 而我只不过写过一部二十五万字的小长篇,我想我还是宁愿相信他比较好-_-。
在大的方面来说,一篇文章从开篇开始,就要让人有所期待,各种背景知识交代自 然,详略得当,指出前人工作各有缺陷,然后自身的贡献娓娓道来,最后各种证据 证明自己所言得当;或是先摆出正反证据,引人思索,指出前人各种问题,再列出自己方案,教人拍案叫绝。细节上,全篇重要的论点要适当重复,每次出现都要和上下文语境相符,无聊冗长的段落适当精简,但必要的实验步骤需要交代;每一段都要有总起有概括,像是花园的指路牌,让读者不至于晕头转向;不设弯路,反复推敲逻辑关系,能用一层逻辑说清的绝不用两层,能用简单故事说明白的不用复杂公式,就算有复杂公式也放进附录里;繁简要有计划,细节要略写以免让人费解,主干则要用重笔让人印象深刻;插图要不言自明,要出现在该出现的地方,能恰当地作成段落注解;语句不能太长,避免从句套从句,长短结合比较好,等等。
这里所有的要求,都是为了读者着想。每条单独做起来都相对容易,但要合在一起 就难,需要充分的思考和不停地修改。每过一段时间,脑中就会浮现出更好的组织 方式,而这种新的组织方式,又反过来会启发出新的理解,推进整个研究的进展。 接着,各部分贡献大小又有变化,详略又会调整,文章又得修改,如此往复。渐渐 地,才会从斧凿拼接模样的文章,变成一气呵成的神作。到这个时候,写作和研究 浑然一体,写作促进研究,研究促进写作,才终于算是步入专家级别了。
还记得在今年 ICCV 最后期限的前一个晚上,老板看了看我要在二十四小时之内要投稿的文章,说了一句:“组织还是有问题,要不我们不用投了。”我当时就惊了 ,当然不能接受这个可怕的事实,于是回去连夜修改,第二天早晨总算让他满意, 后来这篇文章被评为 very well written,并且拿了ORAL。我不得不承认他有想推迟我毕业的小小私心,不过他对写作的执着,可见一斑,他说过自己的第一篇投稿 改了三个月,原稿他一直珍藏,对比第一稿和最后一稿,差距有如天壤。
我想正是因为如此,才能有他的这些锦绣文章。
————
来源:深蓝QHi
编辑 ∑ Gemini
微信公众号“算法数学之美”,由算法与数学之美团队打造的另一个公众号,欢迎大家扫码关注!
更多精彩:
☞如何向5岁小孩解释什么是支持向量机(SVM)?
☞自然底数e的意义是什么?
☞费马大定理,集惊险与武侠于一体
☞简单的解释,让你秒懂“最优化” 问题
☞一分钟看懂一维空间到十维空间
☞ 本科、硕士和博士到底有什么区别?
☞小波变换通俗解释
☞微积分必背公式
☞影响计算机算法世界的十位大师
☞数据挖掘之七种常用的方法
算法数学之美微信公众号欢迎赐稿
稿件涉及数学、物理、算法、计算机、编程等相关领域,经采用我们将奉上稿酬。
投稿邮箱:math_alg@163.com
田渊栋:博士五年总结相关推荐
- 田渊栋的2021年终总结:多读历史!历史就是一个大规模强化学习训练集
视学算法报道 作者:田渊栋 编辑:好困 LRS [新智元导读]田渊栋博士最近又在知乎上发表了他的2021年度总结,成果包括10篇Paper和1部长篇小说及续集.文章中还提到一些研究心得和反思, ...
- 第一篇学术演讲准备两个月,去了谷歌却做不了深度学习,听Facebook田渊栋谈人生挑战与选择...
视学算法转载 来源:从零道一 (公众号ID:goto0011) 第一次 15 分钟的演讲准备了两个月.毕业就进谷歌却只能当螺丝钉.从研究员到研究经理面临角色转换-- 在最近的一次访谈中,Faceboo ...
- Facebook AI研究员田渊栋的2021年终总结:多读历史!
仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:知乎@田渊栋 https://zhuanlan.zhihu.com/p/451903256 这一年在组里开了一个比较大的方向,组织并带领团队一点 ...
- Facebook田渊栋谈人生挑战与选择
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:编辑 ∑Gemini 来源:从零道一 AI博士笔记系列推荐 ...
- Facebook 田渊栋:NeurIPS 2020 中了两篇,感觉还算不错
作者 | 田渊栋 编辑 | 陈大鑫 转自 | AI科技评论 做理论需要的基础知识多,困难,周期长,没有直接经济效益,还只能一两个人单打独斗且无法使用大量计算资源,每个因素都和现在的主流发展方向(强调团 ...
- 直播 NO.5 | Facebook 田渊栋:用深度(强化)学习为组合优化寻找更好的启发式搜索策略...
↑↑↑↑↑点击上方蓝色字关注我们! 『运筹OR帷幄』原创 对这次分享主题感兴趣的小伙伴, 欢迎在文末留言提问, 我们会收集有价值的问题, 请嘉宾在直播中亲自解答. 分享提纲 主题:<用深度(强化 ...
- 田渊栋团队新作:为什么非对比自监督学习效果好?
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:新智元 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 非对 ...
- 多大、谷歌大脑获ICML 2021杰出论文奖,田渊栋、陆昱成获荣誉提名!
转自:机器之心 刚刚,ICML 2021揭晓了本届杰出论文奖和杰出论文荣誉提名奖,来自多伦多大学.谷歌大脑的研究获得了杰出论文奖,包括田渊栋.陆昱成在内的多位学者获得了杰出论文荣誉提名奖.此外,高通副 ...
- 田渊栋教你读paper的正确姿势
作为入行数年的专业科研从业者,你每周看几篇论文? 这是一个知乎上的问题.作为卡耐基梅隆大学机器人系的毕业生.Facebook人工智能研究室(FAIR)的研究人员,田渊栋给出了下面这个回答. 盲目追求论 ...
最新文章
- 为什么我的python程序编译器没有行代号_为什么我的python字典没有附加新变量呢?...
- Sqlserver的触发器的简单使用
- 【Computer Vision】 复现分割网络(1)——SegNet
- iOS 淘宝买 开发者证书 进行真机调试
- 关于HashMap容量的初始化,还有这么多学问
- maven编译项目时提示:cached in the local repository
- (110)FPGA面试题-介绍Verilog块语句begin-end执行过程
- What's New in C# 6.0(转)
- springboot入门书籍推荐,“最粉嫩
- python的图像傅里叶变换 np.fft.fft2 cv.dft 函数
- Android7.1 Offload模式下的音频数据抽取过程
- 【原创】MySQL 5.6 MRR 的存储过程完美诠释
- python3 学习日志 Microsoft Office 编程
- 【7】OPencv骨架细化算法
- 现代化 Android Pie: 安全与隐私
- SSH端口转发Forwarding及隧道Tunneling
- AtCoder Beginner Contest 236 A-D题解
- 极限学习机 Extreme Learning Machines 介绍
- 医院实验室建设基础配置情况SICOLAB
- python pandas的基本使用及基本操作小例子!
热门文章
- linux libasan.so,Address Sanitizer 用法
- hive mysql远程模式_Hive远程模式启动
- matlab画地震复杂模型,基于MATLAB的地震正演模型实现
- java 中violate_Java中的Volatile关键字
- c# 结构体 4字节对齐_【专题4:平时遇到的问题】 之 【3.由结构体字节对齐引发的通信故障】...
- ubuntu 禁用透明大页_如何在ubuntu上默认启用透明的大页面?
- 数据量大的sql怎么做优化_搜索引擎关键词优化怎么做
- 笔记本计算机无法开机怎么办,笔记本开机没反应,教您笔记本电脑开不了机怎么处理...
- 全国战争linux添加eth0,linux服务器双线路接入配置
- 修改so_货代、海运操作、船务操作还分不清?船公司SO文件看不懂?