↑ 点击蓝字 关注视学算法

作者丨魔王

来源丨机器之心

编辑丨极市平台

前几日，NeurIPS 2020 会议发送论文录取通知。

根据杜克大学陈怡然教授的微博信息，NeurIPS 2020 共收到论文投稿 9454 篇，接收 1900 篇（其中 oral 论文 105 篇、spotlight 论文 280 篇），论文接收率为 20.1%。

相比前几年，今年 NeurIPS 会议不管从论文投稿数量还是接收率都创了记录：论文投稿数量创历史最高记录，相比去年增长了 38%，接收率却为史上最低。

2013-2020 年 NeurIPS 会议的投稿和接收论文数量。（图源：AMiner 科技）

这或许与 NeurIPS 2020 的投稿、评审制度变化有关。

NeurIPS 2020 政策变动

今年初，NeurIPS 2020 公布了新一届大会的变化：投稿截止日期提前；部分论文会被提前拒稿；绝大多数作者可能会参与审稿工作等。

具体而言：

1. 今年摘要提交的截稿日期提前到 2020 年 5 月 5 日（后延期至 5 月 27 日），而论文提交的截止日期是 2020 年 5 月 12 日（后延期至 6 月 5 日），此次调整旨在让社区能够合理地处理完增加的投稿量，以及配合「提前拒稿」这一新政策。

2. 提前拒稿：每篇论文都会经过两名不同有经验的研究者评估（领域主席 AC 和高级领域主席 SAC），决定论文是否需要接受进一步的评审。领域主席会有两个星期时间建议哪些论文会被提前拒绝，然后高级领域主席会有一个星期的时间来审核及批准这一决定。批准之后，这些论文作者将会得到通知。最终这一阶段刷掉了 11% 的论文。

3. 作者也是审稿人：此次改变提出，在需要时，论文作者或联合作者都需要同意审稿。这一改变有助于增加审稿人员的总量，并可以在提交论文的员中更加公平地分配审稿的工作量。

4. 更广泛的影响：作者被要求在他们提交的文件中包含新的讨论部分，而讨论部分是关于他们的研究工作可能产生的影响，包括一些可能导致的正面的或者负面的社会影响。

5. Spotlight 视频：社区要求所有作者在提交作品时上传一段视频，主要是记录该工作的 Spotlight 展示，该视频和 camera-ready 版论文一同提交。同时，社区也在推进远程演示以及远程参会，他们也能看到这样的视频展示。

NeurIPS 2020 在 7 月份透露，在「提前拒稿」阶段，约 11% 的论文被拒；组委会基于论文发表情况、评审经验和学科领域汇集了 7800 名合格的论文评审者，其中 2400 名是 NeurIPS 2020 会议的投稿作者。

尽管这些举措出于解决论文投稿数量大、研究的伦理问题和算法应用问题，以及远程会议的考虑，但新的变动仍引发了大量争议。

上个月，NeurIPS 2020 论文评审结果一出就引来了大量吐槽，矛头指向「提前拒稿」和「作者也是审稿人」。

领域主席发声：这样做或许能让 NeurIPS 会议更好

而这次，在众多吐槽声中，NeurIPS 2020 领域主席之一、纽约大学副教授 Julian Togelius 作为评审人员发表了自己的看法，他认为「会议的低接收率使得论文的新奇度、有趣度下降，不再向研究者施加向大型严格会议提交论文的压力或许会让 NeurIPS 等会议变得更好、规模也更小」。

我理解大家被 NeurIPS 会议拒稿后的沮丧。作为领域主席，我可以确定我给一些不错论文的推荐结果是「rejection」。它们的问题在于不够新奇有趣、不够令人兴奋。

当然，所有被拒的论文都存在某种问题。比如，错误的基准、控制变量研究不足、没有引用一些重要的工作等。但是，其实所有论文都有错误。想想那些影响你最深的机器学习论文，它们难道就是完美的吗？

如果你觉得一篇论文足够新奇有趣，你会忽略它的缺点（在合理范围内）。然而，在评审 NeurIPS 论文的时候，即使用了所有 sorting 函数，我仍然难以找到让我觉得兴奋的亮点。

一大问题是低接收率，它让评审过程变成了「找茬游戏」。会议 tenure 和 promotion 委员会的要求使得论文接收率较低。因此很多作者把论文写得很周全、符合要求，而这也让论文变得无聊和平庸了。

一个隐形的更大问题是 NeurIPS 会议规模太大了。它汇集了不同研究兴趣的人，但无法保证评审的兴趣与论文最大程度地匹配，因此这些评审会找理由拒稿。

按照我的经验，在高接收率的小型会议和 workshop 上，我会找到较多感兴趣的论文。部分原因在于，在拒稿威胁较小时，你才能写出更有趣的论文。

还有一个更大的原因是，我对小型会议和 workshop 的领域更感兴趣。我的意思是，为什么要把时间浪费在 95% 的议程你都不感兴趣的会议上呢？

我希望，机构不要向作者施加向大型、严格筛选的会议提交论文的压力。如果只有那些真的想向 NeurIPS 投稿的人投稿，那这个会议可能会变得更好，规模也会变小。

近年来，机器学习会议的论文投稿数量激增，论文评审变成了亟待解决的问题。各家会议纷纷出台新政策，然而不管是 NeurIPS 2020 的「提前拒稿」还是 EMNLP 2020 的 Findings，都引起了一些争议。

如何解决评审难题，道阻且长，但行则将至。这或许不只需要学术会议的努力。

参考链接

https://mp.weixin.qq.com/s/t5g9ArFtCTWok83oakaPWw

觉得有用麻烦给个在看啦~