作者:田渊栋http://yuandong-tian.com/five_year_summary_of_PhD.pdf个人主页:http://yuandong-tian.com/

前言

田渊栋博士目前担任Facebook人工智能研究院研究员/研究经理

原文共分为六节,考虑若全文po出,篇幅较长。为了更好的阅读体验,故将分成六篇推文进行介绍。第一篇详见:田渊栋:博士五年总结(一)

博士五年总结(二)

回到刚才的话题,自己刚入cmu的时候,因为种种原因没有选到理想的导师,不知如何是好,就向师兄征询意见。师兄劝我说:“其实这些都不重要,重要的是你可以从他那里学到什么,我认为他人不错,另外演讲和写作技能非常好。”

事实证明师兄说的话是对的。选导师,他做什么研究并不是最重要的,比这更重要的,是人品及交流和表达能力。我导师人品相当不错,对学生既严格又负责,也不拖毕业的时间。我从他那里学到最多的,其一是演讲,其二是写作。

先来谈谈写作。

以我五年的经验来看,其实中国人写作的最大瓶颈并不是英语能力,而是组织。论文的英语水平充其量是高中水准,多看几篇就大致可以掌握词汇和句型,更何况很多论文都不是以英语为第一母语的研究者们写的,照样拿最优论文奖,照样在学术圈产生极大影响力。

但在组织上,我们的论文确实问题多多。我就犯过很多错误。其一是挤牙膏,通过堆砌句子来达成长度要求,这个可能和我们从小要求文章有字数下限有关,结果就造成文章空洞,许多句子许多段落翻来覆去同一个意思,让人倒胃口。其二是把文章写成技术报告,先做啥,再做啥,最后做啥,实验结果是啥,没了。至于为什么这样做,原因是什么,是什么激发了这样的思考,这样的方法对什么样的数据会有效,有什么局限,全都不知道。(潜台词是:是老板让我这样做的,我只想毕业,有问题别来找我……)论文是要引人深思的,要给人启发的,要让人受教的,要让读者读完后,觉得这篇文章公正地评价了前人的工作,明白这篇文章的创新意义所在,并且同意作者的出发点,认为这是一个很有前途的方向才行。

本质上来说,产生这两个问题的原因是懒得思考。论点挖不深,导致觉得没啥好写只好挤牙膏;方法想不透,于是便罗列若干步骤草草了事。其实只要稍微想下,就能补上很多东西。

举个例子,写目标函数是什么,如何用梯度下降优化,数学上就两个公式,但是段落里可以说明如何选初始点,初始点在这个具体应用中的意义何在,如何取步长,为何这样选,收敛速度通常多快,哪里可以加速,哪里可以并行化再加GPU,等等,这样内容就丰富多了。又比如,一个算法的若干步骤,本来是毫无意义的流程图,但在介绍它之前做些解释,阐明设计的一些基本原则,然后在解释每步时充分使用这些原则,那读来就会觉得容易接受得多。

克服了这两点,做到开局有理有据,正文言之有物,实验让人信服,那这篇文章基 本上可以中稿了。接下来,就可以进入高级模式了。

首先,立意要高远。一篇文章规矩着写,说“我们加了新特征,因为新特征针对数 据集的某些特性建模,实验效果更好”,虽然基本可被录用,但一般不会出彩;如果说“我们建立了新的框架,统一了以前的诸多方法,在这个框架下,算法能自动分析数据加入新特征,实验效果更好”,那这篇就有戏。

为什么呢?工业界看重效果 ,因为效果和经济利益直接挂钩;而学术界是想要为一个领域找一个简洁明了的理论,是要仰望星空,问天几何的——因此每一篇好文章,都必须建造出自己的一套世界出来,给出自己的世界观和方法论,在这个宏大的图景下,给前人的工作标好地位,给自己的工作定下基调,然后拿着这张画好的地图,去解决实际问题。

而所谓的博士研究和博士论文,则是在一套统一自洽的世界观下,含有两至三篇或者更多的文章,以证明这套世界观的合理性。

这听起来像是忽悠的游戏。因为像计算机视觉这种实用的领域,哪有那么多理论可挖。是的,在一定程度上确实如此。但是建筑世界观本身,会促使研究者对已有的 工作进行排列,得到新的启发,看到新的联系,因此仍然是对研究本身有益的。有 些表面上的联系可能被证明是偶然,但有些则会揭示本质,促进人们深化认识,为 将来的突破性进展作准备。另一方面,功利地来说,有一个宏大的世界观有利于一 位博士生发大量文章,早点毕业:-)

其次,故事要流畅。我老板说过,一篇好的文章,就如同带着读者在一个花园里行 走,路面平坦舒适,左边有山,右边有水,引人入胜,读者漫步欣赏美景,走过亭 台楼阁,一点不费劲,一下子就逛完所有还意犹未尽。迄今为止,我对这种抽象的诗一般的表达还不能完全理解,但是既然他声称读完了所有哈利波特的同人小说, 而我只不过写过一部二十五万字的小长篇,我想我还是宁愿相信他比较好-_-。

在大的方面来说,一篇文章从开篇开始,就要让人有所期待,各种背景知识交代自 然,详略得当,指出前人工作各有缺陷,然后自身的贡献娓娓道来,最后各种证据 证明自己所言得当;或是先摆出正反证据,引人思索,指出前人各种问题,再列出自己方案,教人拍案叫绝。细节上,全篇重要的论点要适当重复,每次出现都要和上下文语境相符,无聊冗长的段落适当精简,但必要的实验步骤需要交代;每一段都要有总起有概括,像是花园的指路牌,让读者不至于晕头转向;不设弯路,反复推敲逻辑关系,能用一层逻辑说清的绝不用两层,能用简单故事说明白的不用复杂公式,就算有复杂公式也放进附录里;繁简要有计划,细节要略写以免让人费解,主干则要用重笔让人印象深刻;插图要不言自明,要出现在该出现的地方,能恰当地作成段落注解;语句不能太长,避免从句套从句,长短结合比较好,等等。

这里所有的要求,都是为了读者着想。每条单独做起来都相对容易,但要合在一起 就难,需要充分的思考和不停地修改。每过一段时间,脑中就会浮现出更好的组织 方式,而这种新的组织方式,又反过来会启发出新的理解,推进整个研究的进展。 接着,各部分贡献大小又有变化,详略又会调整,文章又得修改,如此往复。渐渐 地,才会从斧凿拼接模样的文章,变成一气呵成的神作。到这个时候,写作和研究 浑然一体,写作促进研究,研究促进写作,才终于算是步入专家级别了。

还记得在今年 ICCV 最后期限的前一个晚上,老板看了看我要在二十四小时之内要投稿的文章,说了一句:“组织还是有问题,要不我们不用投了。”我当时就惊了 ,当然不能接受这个可怕的事实,于是回去连夜修改,第二天早晨总算让他满意, 后来这篇文章被评为 very well written,并且拿了ORAL。我不得不承认他有想推迟我毕业的小小私心,不过他对写作的执着,可见一斑,他说过自己的第一篇投稿 改了三个月,原稿他一直珍藏,对比第一稿和最后一稿,差距有如天壤。

我想正是因为如此,才能有他的这些锦绣文章。

————

来源:深蓝QHi

编辑 ∑ Gemini

微信公众号“算法数学之美”,由算法与数学之美团队打造的另一个公众号,欢迎大家扫码关注!

更多精彩:

☞如何向5岁小孩解释什么是支持向量机(SVM)?

☞自然底数e的意义是什么?

☞费马大定理,集惊险与武侠于一体

☞简单的解释,让你秒懂“最优化” 问题

☞一分钟看懂一维空间到十维空间

☞ 本科、硕士和博士到底有什么区别?

☞小波变换通俗解释

☞微积分必背公式

☞影响计算机算法世界的十位大师

☞数据挖掘之七种常用的方法

算法数学之美微信公众号欢迎赐稿

稿件涉及数学、物理、算法、计算机、编程等相关领域,经采用我们将奉上稿酬。

投稿邮箱:math_alg@163.com

田渊栋:博士五年总结相关推荐

  1. 田渊栋的2021年终总结:多读历史!历史就是一个大规模强化学习训练集

      视学算法报道   作者:田渊栋 编辑:好困 LRS [新智元导读]田渊栋博士最近又在知乎上发表了他的2021年度总结,成果包括10篇Paper和1部长篇小说及续集.文章中还提到一些研究心得和反思, ...

  2. 第一篇学术演讲准备两个月,去了谷歌却做不了深度学习,听Facebook田渊栋谈人生挑战与选择...

    视学算法转载 来源:从零道一 (公众号ID:goto0011) 第一次 15 分钟的演讲准备了两个月.毕业就进谷歌却只能当螺丝钉.从研究员到研究经理面临角色转换-- 在最近的一次访谈中,Faceboo ...

  3. Facebook AI研究员田渊栋的2021年终总结:多读历史!

    仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:知乎@田渊栋 https://zhuanlan.zhihu.com/p/451903256 这一年在组里开了一个比较大的方向,组织并带领团队一点 ...

  4. Facebook田渊栋谈人生挑战与选择

    点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:编辑 ∑Gemini 来源:从零道一 AI博士笔记系列推荐 ...

  5. Facebook 田渊栋:NeurIPS 2020 中了两篇,感觉还算不错

    作者 | 田渊栋 编辑 | 陈大鑫 转自 | AI科技评论 做理论需要的基础知识多,困难,周期长,没有直接经济效益,还只能一两个人单打独斗且无法使用大量计算资源,每个因素都和现在的主流发展方向(强调团 ...

  6. 直播 NO.5 | Facebook 田渊栋:用深度(强化)学习为组合优化寻找更好的启发式搜索策略...

    ↑↑↑↑↑点击上方蓝色字关注我们! 『运筹OR帷幄』原创 对这次分享主题感兴趣的小伙伴, 欢迎在文末留言提问, 我们会收集有价值的问题, 请嘉宾在直播中亲自解答. 分享提纲 主题:<用深度(强化 ...

  7. 田渊栋团队新作:为什么非对比自监督学习效果好?

    点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:新智元 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 非对 ...

  8. 多大、谷歌大脑获ICML 2021杰出论文奖,田渊栋、陆昱成获荣誉提名!

    转自:机器之心 刚刚,ICML 2021揭晓了本届杰出论文奖和杰出论文荣誉提名奖,来自多伦多大学.谷歌大脑的研究获得了杰出论文奖,包括田渊栋.陆昱成在内的多位学者获得了杰出论文荣誉提名奖.此外,高通副 ...

  9. 田渊栋教你读paper的正确姿势

    作为入行数年的专业科研从业者,你每周看几篇论文? 这是一个知乎上的问题.作为卡耐基梅隆大学机器人系的毕业生.Facebook人工智能研究室(FAIR)的研究人员,田渊栋给出了下面这个回答. 盲目追求论 ...

最新文章

  1. 为什么我的python程序编译器没有行代号_为什么我的python字典没有附加新变量呢?...
  2. Sqlserver的触发器的简单使用
  3. 【Computer Vision】 复现分割网络(1)——SegNet
  4. iOS 淘宝买 开发者证书 进行真机调试
  5. 关于HashMap容量的初始化,还有这么多学问
  6. maven编译项目时提示:cached in the local repository
  7. (110)FPGA面试题-介绍Verilog块语句begin-end执行过程
  8. What's New in C# 6.0(转)
  9. springboot入门书籍推荐,“最粉嫩
  10. python的图像傅里叶变换 np.fft.fft2 cv.dft 函数
  11. Android7.1 Offload模式下的音频数据抽取过程
  12. 【原创】MySQL 5.6 MRR 的存储过程完美诠释
  13. python3 学习日志 Microsoft Office 编程
  14. 【7】OPencv骨架细化算法
  15. 现代化 Android Pie: 安全与隐私
  16. SSH端口转发Forwarding及隧道Tunneling
  17. AtCoder Beginner Contest 236 A-D题解
  18. 极限学习机 Extreme Learning Machines 介绍
  19. 医院实验室建设基础配置情况SICOLAB
  20. python pandas的基本使用及基本操作小例子!

热门文章

  1. linux libasan.so,Address Sanitizer 用法
  2. hive mysql远程模式_Hive远程模式启动
  3. matlab画地震复杂模型,基于MATLAB的地震正演模型实现
  4. java 中violate_Java中的Volatile关键字
  5. c# 结构体 4字节对齐_【专题4:平时遇到的问题】 之 【3.由结构体字节对齐引发的通信故障】...
  6. ubuntu 禁用透明大页_如何在ubuntu上默认启用透明的大页面?
  7. 数据量大的sql怎么做优化_搜索引擎关键词优化怎么做
  8. 笔记本计算机无法开机怎么办,笔记本开机没反应,教您笔记本电脑开不了机怎么处理...
  9. 全国战争linux添加eth0,linux服务器双线路接入配置
  10. 修改so_货代、海运操作、船务操作还分不清?船公司SO文件看不懂?