那些没出现在近几年顶会上重要论文

最近一阵子，NeurIPS 2019 放榜了、ICLR 2020 截稿了，为论文没中而闷闷不乐、为投稿（或者改稿重投）而郁闷头大的同学肯定不少。不过，在乎真正的学术贡献的同学也不用着急，论文中了顶会最主要还是说明符合流行风向+运气好，就像每年顶会的最佳论文过十年再来看往往并不是真正推动领域进步的论文一样。

其实，岂止「顶会最佳论文往往不是真正推动领域进步的论文」，有很多重要的、推动进步的论文都没投顶会，甚至是投了然后被拒稿。谷歌大脑研究员 Colin Raffel 在推特上发帖讨论了这事，和其它几位学者共同列举了一批重要的、推动了领域进步的、但并不属于任何顶会的论文。

Generating Sequences With Recurrent Neural Networks

用 RNN 生成序列
https://arxiv.org/abs/1308.0850
这篇论文发布时是相当惊人的，首次表明了可以直接用 RNN 生成令人满意的文本段落或者手写文字（具体来说是用 LSTM 捕捉离散长序列的结构，每次预测下一个紧接着的元素）。而且这篇论文里还出现了注意力机制、Adam 等等后来广为使用的技巧的雏形。

WaveNet: A Generative Model for Raw Audio

WaveNet：一个原始音频信号的生成模型
https://arxiv.org/abs/1609.03499
来自 DeepMind 的大名鼎鼎的 WaveNet 论文可以说开创了一个新的时代。在此之前的语音生成模型都是先生成“声码”，然后用单独的发声模型把声码变成音频波形信号。WaveNet 直接表明了我们现在（2016 年）就可以直接用深度神经网络生成音频波形信号，跳过声码这一环，生成效果也有极大的提升。沿着这个方向，后来的研究人员们还做了很多改进和新的探索，大幅提高语音生成速度的并行 WaveNet （Parallel WaveNet，arxiv.org/abs/1711.10433）也很快就进入了谷歌的商用系统。

Learning to Generate Reviews and Discovering Sentiment

学习生成评论并发掘情感
https://arxiv.org/abs/1704.01444
A simple and surprising result (thresholding a neuron in an unsupervised LM could classify sentiment accurately) that helped kicked off the transfer learning craze in NLP.
这篇论文用了简单的无监督预训练方法学习文本表征，然后得到了惊喜的结果：根据学习到的无监督语言模型中的单个神经元的阈值就可以准确地判断文本的情感。这项研究也助推了迁移学习的方法在 NLP 领域的流行。

Implicit Autoencoders

隐式自动编码器
https://arxiv.org/abs/1805.09804
可变自动编码器（VAE）的概念提出了挺久了，而这篇论文讨论了一种新的自动编码器形式：编码器中的重建项和正则化项都是用对抗损失表示的，也就是隐式地参数化。相比于之前的显式的做法，隐式参数化、隐式的数据分布可以让自动编码器学习到更强有表现力的先验知识和条件似然分布，从而，自动编码器中的隐含空间可以更专注捕捉数据中的抽象、高维信息，同时其余的低维信息都已经被隐含的条件似然分布包括了。作者们的风格、内容解耦等实验中模型都发挥了优秀的表现。

Learning Dexterous In-Hand Manipulation

学习灵活的机械手控制
https://arxiv.org/abs/1808.00177
这篇出自 OpenAI 的论文从发布以后就是机器人控制领域的热门论文，实际上雷锋网 AI 科技评论也做过详细的解读。OpenAI 不仅提出了两组、八个高难度问题（机械臂末端控制、机械手拿取以及玩弄物体，都难以用早期强化学习算法直接解决），也用新的强化学习在模拟环境中训练了能完成这些任务的智能体；最惊人的是，即便是完全在模拟器中训练的，这个模型也可以不需任何微调就直接迁移到真实的机械手上，同样优美地完成了任务。这不仅是强化学习机器人控制的一个突破，在别的任务中使用强化学习的时候也可以参考他们的技巧。

Evolution Strategies as a Scalable Alternative to Reinforcement Learning

演化策略是一个强化学习的可拓展的的备选方案
https://arxiv.org/abs/1703.03864
这篇论文是演化策略 Evolution Strategies 这个研究方向的开创性论文。演化策略提出时是作为当时热门的基于马尔科夫决策过程的 Q-learning、策略梯度之类的强化学习方法的补充，但是实际上即便演化策略是个黑盒优化模型，它仍然有许多优点：它在多 CPU 集群上的拓展性很好、对动作频率和延迟反馈不敏感、可以执行非常长期的任务、而且不需要时间折扣或者值函数逼近。

Distilling the Knowledge in a Neural Network

蒸馏神经网络中的知识
https://arxiv.org/abs/1503.02531
首先，这篇论文的作者中有 Jeff Dean 和 Geoffrey Hinton，可以说看到这两个名字就知道这篇论文肯定有一些有价值的洞见。然而 Jeff Dean 在推特讨论中自曝这篇论文投稿到了 NIPS 2014 然后被拒了，三位审稿人中有两位的意见是「这项工作改进很小，很可能不会有什么影响」…… 挺让人郁闷的是不是，2019 年的我们都知道，随着百万级参数数量的模型层出不穷，知识蒸馏、模型压缩的方法不仅有用，很多时候甚至是实际应用中必不可少的一个环节（为了达到可以接受的延迟和功耗）；知识蒸馏也成了近两年的热门研究课题。引用数据不会说谎，这篇论文如今已经有了大约 2000 的引用，比大多数顶会论文都要高。

在讨论中也有人说道，现在我们在这里列举出的论文被时间证明确实是有持续的影响力的，它们的引用数也都不低，但如果当年投了顶会而且被接收了，可能还要高出很多。

（对于是不是一定要把论文投顶会，有人说这其实要看作者是否已经有了较高的教职、是否已经有了类似「fuck you money」这样的底气。如果一个人已经有终生教职了、或者已经达到了博士毕业的论文数量要求了，他就完全可以只把论文传 arXiv，有价值的论文自然不会被忘记。相比之下，投顶会的论文相当一部分是来自还没达到目标的在读博士生的，出现学术价值不如没投的论文的情况也不奇怪了）

几篇论文打包下载见 https://www.yanxishe.com/resourceDetail/1030

原帖 https://twitter.com/colinraffel/status/1174691881114058752

那些没出现在近几年顶会上重要论文相关推荐

上海互联网整体沉沦：盛大巨人全没落 8年没出一个马云
上海互联网整体沉沦:盛大巨人全没落 8年没出一个马云时间:2015年03月05日 14:10:59 来源:腾讯科技 [作者:雷建平] 评论喜欢+0 打印收藏分享曾经,上海为何出不了马云的讨论 ...
这个专业的应届生火了！年薪50万，没出校门就被挖走
北大青鸟徐州中博 21世纪,什么最重要?人才! 而如今,哪种人才最值钱?是人工智能(AI)技术人才. 经常上知乎的人都知道,在知乎上,年薪50万的人似乎比比皆是.年薪50万,也成了知乎上人生赢家的标准 ...
官方论文还没出，刷爆AI圈的DALL·E刚发布就被复现？两天800 star！
点击上方"CVer",选择加"星标"置顶重磅干货,第一时间送达萧箫发自凹非寺来源:量子位(QbitAI) 没想到,OpenAI刚公布DALL·E,就已 ...
DALL·E才发布两天就被复现？官方论文还没出，大神们就在自制代码和视频了
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 没想到,OpenAI刚公布DALL·E,就已经有人在复现了. 虽然还是个半成品,不过大体框架已经搭建好了,一位第三方作者Philip Wan ...
Android之打开继承DialogFragment对话框里面EditText获取光标并且弹出键盘把底部布局顶上去
1 需求打开继承DialogFragment对话框里面EditText获取光标并且弹出键盘把底部布局顶上去 2 效果爆照如下打开这个DialogFragment 3 关键代码实现 override ...
C++栈的初始化，入栈，出栈，获取栈顶元素等操作
栈的一些性质: 1.栈为空不可以出栈 2.栈顶元素先出 3.新元素插入栈顶栈的初始化: #include<iostream> #include<string> using n ...
数据结构 -- 栈的基本操作（入栈、出栈、取栈顶元素）
目录栈的基本操作(顺序栈) 栈的基本操作(链栈) 栈的基本操作(顺序栈) 初始化栈: #define MAXSIZE 5 typedef struct {int *top;int *base;int ...
C++实现栈的基本操作（入栈，出栈，取栈顶）
C++实现栈的基本操作(入栈,出栈,取栈顶) 参考资料:王道数据结构考研复习指导:王道C语言督学营 #include<stdio.h> #include<stdlib.h> # ...
链栈的创建，入栈，出栈，获取栈顶元素
链栈的创建,入栈,出栈,获取栈顶元素 #include <stdio.h> #include <stdlib.h> #define Max 5 typedef struct L ...

那些没出现在近几年顶会上重要论文

那些没出现在近几年顶会上重要论文相关推荐

最新文章

热门文章