整理 | 琥珀

出品 | AI科技大本营

不久前，Reddit 机器学习论坛上一位网友发布了一个帖子：

“What is the best ML paper you read in 2018 and why?（你认为 2018 年读过的最好的论文是哪篇？）”吸引了各路网友前来回答。

营长根据答案的 Top 顺序，整理了这些论文，快来看看，是否有你最支持的那篇呢？如果不在，欢迎补充！

Top 1：GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

链接：https://arxiv.org/abs/1811.10597

简介：该论文提出了一个可以在单位、目标和场景不同级别可视化分析框架。可以帮助研究人员更好的理解 GAN 模型。

推荐人：SupportVectorMachine、64 points

推荐理由：今年有很多很棒的成果，NVIDIA 近期最新的研究成果也非常赞，但是推荐人表示自己最喜欢的还是这篇文章。这篇论文写的好，插图也最精美，全面且易于理解。

Top 2：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

链接：https://arxiv.org/abs/1810.04805

简介：该论文引入了一种新语言表示模型BERT（Bidirectional Encoder Representations from Transformers）双向编码器表征。与此前其他的语言表示模型不同的是，BERT旨在通过所有层中的左、右语境联合调整，来预训练深层双向表征。

推荐人：kartayyar、49 points

推荐理由：一是有非常好的创新理念，masked LM 的应用很有创意；二是以非常简练的术语描述了核心观点；三是在GitHub上开源的代码可以重现；四是可处理多项不同任务。

Top 3：Neural Ordinary Differential Equations

链接：https://arxiv.org/abs/1806.07366

简介：论文引入了一种新的深度神经网络模型家族。论文并没有规定一个离散的隐藏层序列，而是使用神经网络将隐藏状态的导数参数化，然后使用黑箱微分方程求解器计算网络的输出。这些连续深度模型的内存成本是恒定的，可根据输入调整评估策略，并可明显用数值精度换取运算速度。

推荐人：Hyper1on、43 points

推荐理由：最酷的一篇论文

Top 4：Large-Scale Study of Curiosity-Driven Learning

链接：https://arxiv.org/abs/1808.04355

简介：本篇论文对只由内在奖励驱动的智能体进行了大规模的实证研究。他们选择了Pathak等人提出的基于好奇心的内在奖励模型，并在Atari 游戏、超级马里奥兄弟、Unity 中的虚拟 3D 导航、多人乒乓以及 Roboschool 等各个环境中进行了大量研究。

推荐人：beealebub33、35 points

推荐理由：本篇论文的重要性在于它在没有明确奖励的情况下在各项游戏中取得了良好成绩。通过预测、确认期待违背和探索未知领域，它学习到了如何做游戏。这从而指出人工智能应该引导的方向：自监督、无标注数据、预测、好奇心、本能反应等。对于世人而言，根本没有那么多时间可以产生训练数据集然后再定义这些数据集的指标。相反，如果你提供给AI的是源于系统（或自然世界）的原始数据，且可以学习系统时空演变的内部展现，那么你可以设定一个AI可以完成的目标。

Top 5：Phrase-Based & Neural Unsupervised Machine Translation

链接：https://arxiv.org/abs/1804.07755

简介：该论文探究了如何在只有大规模单语语料库的情况进行机器翻译。作者提出了两种模型变体，一种基于神经网络和一种基于短语的模型。

推荐人：breadwithlice、30 points

推荐理由：仅使用单语语料库，将一种语言翻译成另一种语言而不用任何映射、字典或并行数据。通过反向翻译技术，这极大地提升了翻译器的能力，从A翻译到B，然后从B翻译到A，然后重新再来一遍，结果非常令人满意。

Top 6：An Introduction to Probabilistic Programming

链接：https://arxiv.org/abs/1809.10756

简介：该论文主要介绍了概率编程系统的背景介绍，以及设计和构建这些系统所需的技术。

推荐人：ndha1995、22 points

推荐理由：作者对概率规划进行了全面而严谨的介绍，并在最后一章中介绍了深度神经网络与概率规划相结合的最新研究。

Top 7：Rethinking statistical learning theory: learning using statistical invariants

链接：https://link.springer.com/article/10.1007/s10994-018-5742-0

简介：本文介绍了一种新的学习范式“ Learning Using Statistical Invariants” (LUSI)，它与经典学习范式不同。从数学的角度看，经典范式的方法采用近似于期望函数的强收敛机制，而新范式则采用了强收敛和弱收敛机制。

推荐人：anterak13、15 points

Top 8：Learning a SAT Solver from Single-Bit Supervision

链接：https://arxiv.org/abs/1802.03685

简介：该论文提出了NeuroSAT，这是一种传递神经网络的信息，只有在被训练为预测可满足性的分类器后才会解决SAT的问题。

推荐人：edwardthegreat、12 points

Top 9：AutoAugment: Learning Augmentation Policies from Data

链接：https://arxiv.org/abs/1805.09501

简介：谷歌大脑的研究人员进一步研究了用于图像的数据增强策略，并提出了一个名为AutoAugment的的简单过程，用来搜索改进的数据增强策略。

推荐人：thatgudr、12 points

推荐理由：实用性非常强、适用于一切事物。

Top 10：Relational inductive biases, deep learning, and graph networks

链接：https://arxiv.org/abs/1806.01261

简介：这篇是由DeepMind、谷歌大脑、MIT、爱丁堡等27位作者联合发表的关于归纳偏置、典型深度学习构建和图网络的综述文章，探讨了如何在深度学习中使用关系归纳偏置，来有效解决传统“人工构造学习”和 “端到端学习”的弊端，以增强学习的可解释性。

推荐人：edwardthegreat2、22 points

Top 11：Backprop as Functor: A compositional perspective on supervised learning

链接：https://arxiv.org/pdf/1711.10455.pdf

简介：DeepMind最新提出“神经算数逻辑单元”，类似传统处理器中的算数逻辑单元，旨在处理神经网络数据模拟能力不足的问题。它将数值表示为线性激活函数，使用原始算数运算符进行操作，并由学习门（learned gates）控制。

推荐人：DunkelBreard、11 points

推荐理由：关于类别理论结构的技术，参数调整的一个很好的改变。

此外，还有很多网友分享了自己认为的 2018 最佳论文，包括迁移学习领域的 “Taskonomy: Disentangling Task Transfer Learning”，强化学习领域的 “Lable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures”，无监督学习领域元学习的 “Learning Unsupervised Learning Rules”。

当然，在人工智能的大潮下，顶级学术会议成为学术界、产业界、乃至公众均密切关注的事件。2018 年，从年初至年末，我们也看到了机器学习、计算机视觉、自然语言处理等领域的优秀论文的涌现。为此，我们选取了国际上八大顶尖学术会议的代表性获奖论文，以飨读者。我们也希望在 2019 年可以见证更多人工智能领域优秀成果的突破。

为此，大家可以在后台回复“2018BestPaper”，可以获取本年度最佳论文全部合辑~

参考链接：

https://www.reddit.com/r/MachineLearning/comments/a6cbzm/d_what_is_the_best_ml_paper_you_read_in_2018_and/?sort=top

（*AI科技大本营原创文章，转载请联系微信1092722531）

公开课预告

◆

强化学习

◆

本课程是一次理论+实战的结合，将重点介绍强化学习的模型原理以及A3C模型原理，最后通过实践落实强化学习在游戏中的应用。

推荐阅读

• 年后跳槽BAT必看：10种数据结构、算法和编程课助你面试通关

• 实现通用人工智能还要多久？Hinton与AlphaGo之父这样回答

• 深入理解与应用Hadoop中的MapReduce

• Python 分析程序员最关心的竟不是技术，而是…

• 和 Eclipse 并肩十年后，我终于「投敌」IDEA 了

• 新年到，献给从一线工程师到CTO的实用指南:《2019区块链开发者报告》

• 行！程序员千万别学算法！

• 免费送书 | 从今天起，一心一意学Python

• 2018年Python开源项目Top100！只在这里！