如何阅读机器学习论文

在这里我不会试图说服你为什么需要阅读技术和研究论文。我们在日常生活中使用的几乎所有算法都来自技术文献或者以教程或更简单的代码形式出现。你很有可能会遇到一些非常深奥和简洁的问题，而没有任何标准的教科书解决方案，这时，通过阅读密集的技术文献来分析这些问题就派上用场了。

阅读技术文献的其他一些充分理由是：

让自己了解 AI/ML 领域正在发生的事情。这里每年发表 33,000 篇新论文；其中一些肯定会提供信息。

要了解有关感兴趣的特定主题的更多信息，最近的发现是什么，到目前为止已经完成了哪些研究，还有哪些问题需要回答。

有很多我们不知道并且可以完全理解，这个可以让我们知道学无止境。

我不会称自己为阅读论文的大师，但多年来通过反复的试验我有所进步。从“任何人怎么能用这么复杂的语言写作”到“嗯……很难，但可以理解主要思想”的道路一直充满挑战，有时令人气愤但很有收获。

第一件事

在接触纸张之前，您需要了解两件事：

论文的主要主题是什么，例如它可以是推荐系统、计算机视觉、自然语言处理、音频处理等
目标是什么？ ——你想达到什么目的？您是想了解更多关于某个主题的信息，还是想看看一篇论文是否可以帮助您解决您所遇到的问题？

一旦你对这两个问题进行了排序，就可以综合一个阅读策略。

论文来源？

到现在为止，你一定已经找到了许多来源，可以从中搜索您所在领域的技术文献。有很多帖子和列表提供了足够多的信息，但是我不会这样做，下面提到我下载大部分论文的地方。

论文：arxiv 很好，但浏览该网站就像迷失在每棵树看起来都一样的森林中。更好的选择是 arxiv-sanity-preserver，它可以让你在浏览 arxiv 上的无数论文时保持理智。它提供了论文的预览和摘要，还可以让你找到与当前论文相似的其他论文（基于 TF-IDF 排名）。All hail Andrej Karpathy!!!

实现：Papers with Code 提供了第三方的编程实现和论文自带源代码的 Github 地址。我们可以可以尝试 fork 存储库并重新运行代码以更好地理解论文的数学方面表示。

视频 — Two minutes paper是一个 YouTube 频道，可快速概述论文的实践方面及其相关含义。 Yannic Kilcher 是另一个 YouTube 频道，我有时会在午餐或晚餐时观看。

新闻资讯：我会提到 Import AI，因为它清晰、连贯地呈现材料。他们有一小部分科技故事只是科幻故事，读起来很整洁。

播客：我会推荐Linear Digressions、Talking Machines和Data Skeptic作为音频来源（Spotify、Apple），听上去很有趣。他们不仅谈论最新趋势，还谈论实际应用，并与行业领袖和首席数据科学家一起主持脱口秀。

如何阅读？

现在您手头上有一份论文，并且有明确的目标，您将能够轻松浏览它并以更好的方式理解论文。你不需要在一开始就阅读高度复杂和数学繁重的论文来养成这个习惯。

Kesav Srinivasan[1] 在这篇文章中讨论了这种方法，但不同的人有适合他们的版本。

随着时间的推移，我也体会到了似乎很有成效的三步法。

我的三步法

分三遍阅读论文。每次迭代都有不同的目标，但它们共同致力于更好地理解手头的文献。

第一遍

第一遍的目的是对论文有一个大致的了解。

阅读作者姓名、标题、摘要、介绍、小节的标题，并阅读结论。不要阅读任何数学部分。检查论文中提到的参考文献。

第一遍的时间不要超过 15 分钟，但是你应该知道正在解决什么问题，得出了什么结论，最重要的是，这篇论文是否写得很好，是否足够相关你花更多的时间在它上面。

第二遍

在这个阶段，你必须更加批判性地阅读论文。在浏览论文时做笔记并创建粗略的图表。

仍然不必阅读任何深奥的数学方程式，只需粗略地浏览它们即可。这一遍需要阅读论文的所有部分，看看你是否能想出你对论文中描述的粗略算法或过程的演绎。

检查论文中是否有任何绘图、图表、图形。尝试理解它们，因为它们包含大量信息并且通常是直接结果的关键。

在第二遍之后，检查是否存在任何 GitHub 存储库或该论文的教程，并尝试重新运行它以复制结果。

这个阶段应该需要 50 到 90 分钟。

如果您对论文的内容感到满意，并且总体上认为它会帮助您实现目标，那么只有这样才进行第三阅读。

在第二阶段结束时要做的一件很有成效的事情是写一段 150 字的你学到的东西来具体化你的理解。稍后也可以使用此摘要与小组成员或去在线论坛进行讨论。

第三遍

这是最终的目标阶段，因为将要花费大量时间在论文上试图理解其中的每一个字。

如果你的目标只是让自己熟悉一种新方法，那么也许第二遍就足够了，但是如果您手头有一个特定的任务，正在尝试找到其解决方案，那么请继续进行第三次阅读。

在第三遍，请彻底阅读数学部分。使用笔和纸将方程式分解为基本层次，在阅读的同时也需要查阅外部资源以了解不熟悉的术语和概念。

从本质上讲，你正在重写论文并了解论文的各种元素的本质。

最初，这个阶段可能需要很多小时，但是随着您技能的提高，所用的时间会急剧减少。

最后的要点

使用荧光笔或注释工具，不要打印所有的文件（出于环境原因），而是打印您认为需要手持的文件。标注

译者注：其实一个pdf阅读器和一个pad甚至一个手机就够了，需要打印的也只是我们需要共享内容。

论文的语言表述十分复杂，因为受众通常是其他研究人员和从业人员，他们非常熟悉技术术语、背景和上下文，因此可以轻松解析。

“没有什么比阅读科学期刊文章更让您感到愚蠢”— Adam Ruben

虽然可能会感到沮丧，但是对自己要有耐心。这是一项类似于骑自行车的技能，最初达到平衡似乎是一项艰巨的任务，但随着时间的推移，一定会变得更好，并且一旦你掌握了基本上一生都不会忘记。

你不必每次都把论文中的结论当作结果。这就是为什么论文的来源和作者在这里是一个重要方面。有时侯方法论和理论组织得很好，但报告的结果是基于有偏见的数据集。这就是为什么复现论文以查看是否可以复制结果是一项重要任务。

引用

[1] K Srinivasan — How to read papers — http://ccr.sigcomm.org/online/files/p83-keshavA.pdf

最后记得快乐阅读并保持好奇心

作者：Prashant Mudgal