转载自：量子位

“像IJCAI、AAAI和NeurIPS这样的大型‘选择性’顶会，就不应该继续存在……”

说这话的不是别人，正是纽约大学的计算机系副教授Julian Togelius。

他在谷歌学术上显示的论文引用量达14330，H因子62，是名副其实的AI大牛。

怎么回事？

原来，他在自己的博客上发表了一篇新文章“Rethinking large conferences”，反思了大型顶会的现状。

同时，也提出了对应的解决方法。

大型顶会哪里不好？

Julian表示，因为大型顶会“很无聊”：

要不是担心学生的职业前途，我可能更愿意参加一些小型、与自身专业（Julian的研究方向是AI+游戏）相关的学术会议，如FDG、AIIDE和IEEE CoG。

为什么会这样？

原因之一，主题散乱。

AI这门学科，可以研究的内容实在太多了。

Julian表示，自己随便参加一个“AI会议”的话，只有20%的概率能搞懂它的主题，10%的概率觉得它有点意思。

更别提像AAAI这种大型顶会，什么样的研究主题都有，但大部分研究者真正关心的，可能只有自己研究的方向。

这就导致一个会议失去了它本来的意义：让更多人的研究，在专业领域内得到更好的传播（通过会议演讲等形式）。

原因之二，重在参与。

Julian对此吐槽：

现在这些大型会议的重点，是参加这些会议，而不是接收论文后的作品展示环节。

没错，就是所谓的论文接收率。

他表示，许多大型顶会都存在着“选择性会议（selective conferences）”的问题，论文接受率通常在20%左右、甚至更低。

之所以存在这种现象，是因为大型顶会需要声望来维持运转。

也就是说，在大型顶会上发表文章，成了学术界晋升、招聘等行为的重要判断依据。

然而，那些没有被接收的论文，有相当一部分也进行了完善研究、没有错误且对学术界有一定贡献。

原因之三，评审标准混乱。

微软纽约研究院的一项研究表明，在NeurIPS 2014上，论文接收的随机性甚至达到了60%。

Julian个人认为，大部分大型顶会论文被评审选中的原因，是因为“熟悉感”。

如果一篇论文看起来更符合评审人期望，就更可能被选中。

这意味着这些论文可能更保守、枯燥、平庸。

也就是说，论文是否有趣并不重要。

没错，Julian认为，除非评审人与投稿者，恰好处在同一个专业领域，否则评估是非常困难的。

原因之四，无效交流过多。

Julian认为，大型会议的参会者太多了，难以形成交流的小圈子和社区。

如果是一个小型专业会议，人们更容易互相建立认知，彼此进行交谈，大型会议却难以做到。

奔向小型会议

难道，大型会议就真的没有存在的理由了吗？

Julian Togelius认为，还是有的。

不过这些大型顶会存在的理由只有一个：

让学术界了解AI各个领域的进展情况。

在这种情况下，作者们不直接向大型会议提交论文，而是提交给更小型、更专业的会议来进行评审。

在论文发表后，组织者、专业评审再选择最佳论文，提交给大型会议发表。

对此，有网友表示：

不过即使是小型会议，也应该抛弃个人演讲+讨论的形式，而是让每个人提前录好音，并在开会一周前就放到网上、提前了解内容，让大家在会议上真正自由讨论。

也有网友表示：

大型顶会存在还是有它们的理由的。组织者应该回归初心，看看他们最初设计会议的理由是什么。

当然，还有网友提出了自己的建议：

补充一点，即使是跨领域也可能组成一些会议，例如研究Semantic Web（语义网络）的人，就可以包括研究开放数据、知识表征等不同领域的专业人员。

原文地址：
http://togelius.blogspot.com/2021/05/rethinking-large-conferences.html

参考链接：
[1]https://cacm.acm.org/blogs/blog-cacm/181996-the-nips-experiment/fulltext
[2]http://togelius.blogspot.com/2013/12/against-selective-conferences.html

重磅！DLer-CVPR2021论文分享交流群已成立！

大家好，这是CVPR2021论文分享群里，群里会第一时间发布CVPR2021的论文解读和交流分享会，主要设计方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。

进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）

???? 长按识别，邀请您进群！