顶会「扩招」，一地鸡毛：ICLR2020近半数审稿人未发过相关论文

机器之心报道

机器之心编辑部

昨日，ICLR 2020 评审结果放出，被大量作者吐槽，甚至有开发者统计，本次大会近半数审稿人没有在相关领域发过论文。这把不久之前刚被清华列为人工智能 A 类顶会的 ICLR，推上了风口浪尖。

昨日，ICLR2020 的审稿结果终于放出。但放榜时间比预计的要晚了一天，原因在于今年的投稿数量多到爆炸，足足有 2600 篇，所以原有的审稿人手根本不够用。要知道，ICLR 2019 大会的投稿数是 1500 篇，而 ICLR 2018 才 900 多。两年时间增长了近两倍。

提交论文数量爆炸式增长，大概率导致几种结果，要么使得审稿人超负荷运转，要么减少在每篇论文上花费的精力，或者增加审稿人数量。而审稿人数量一多，就很容易出现「滥竽充数」的情况。甚至有些深度学习顶会的审稿人会发出一些灵魂追问，如著名的：「What is softmax?」

ICLR 2020 的评审，就引发了社区的极大质疑。

谷歌大脑研究科学家 Ben Poole 就在 Twitter 上表示，「机器学习同行评审崩塌了」。

一大批论文作者们也表示赞同。一位相关领域的 PhD 学生在 Poole 的 Twitter 下留言称，「ICLR 2020 感恩有你，我和学术界从此拜拜。如果能重来，我要选 arXiv。」

另一位相关研究者说：「吐槽大会审稿已经是一个传统了。但是本次大会的审稿情况真是令人震惊。（论文的）评论更像是 Reddit 的评论，而不是严格的学术评审。老实说，我已经丧失了尝试（投稿）的动力。」

面对来自投稿者的「差评」，审稿人也大呼冤枉，表示「我们太难了……」

一位审稿人表示，自己真的在审稿方面花费了很多心血，不能一口气否定。这位审稿人审核了三篇论文，每篇用了 6 小时阅读、2 小时写评论，并在之后又一次花 1 小时看一遍，以免出问题，评审意见平均达 900 字之多。

不过有时候确实任务很繁重，一位审稿人对此回复说：「你这么做是对的，但是我可是在两周内审了八篇论文，而且我们可不是仅仅只有审文章这一个工作。」

直到审稿截止日期的最后两天，纽约大学助理教授 Sam Bowman 还在 twitter 上在线征集 ICLR 审稿人。他表示，「这是最后时刻发起的请求，实在是没有有经验的审稿人可用了」。不过，此次征集的审稿人是有一定要求的，如需要在同等级会议上发表过文章。

47% 审稿人没发过相关论文

如果说 ICLR 2020 的评审结果「一地鸡毛」，相信也是跟审稿人的背景有关的。让没有在相关领域发过文章的审稿人参与评审，被认为是这次审稿崩塌的主要原因。

在 Twitter 上，有用户统计称，ICLR2020 的审稿人中，有 47% 的人没有在相关领域发表过论文。南京大学周志华教授对此评论称，「顶会的『顶』正是因为有高水平专家把关，但现在已不可能了。」

ICLR 大会最初由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun 牵头创办。众所周知，Yoshua Bengio 主管着蒙特利尔大学人工智能实验室，也就是 MILA，这是世界上最大的人工智能研究中心之一。Yann LeCun 是 Facebook 人工智能研究院的院长，被称为卷积神经网络之父。

不久之前，在清华大学发布的最新版《清华大学计算机学科推荐学术会议和期刊列表》中，成立短短 6 年的 ICLR 已经成为了 A 类顶会。

本着开源的原则，ICLR 大会一直采用 open review 制度，所有提交的论文都会开放在 OpenReview.net 网站上，遵循公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开 API 及开源这八个原则。但正如周志华教授所言，open review 制度只有在参与者均为本领域专家的前提下才更显效用，否则存在误导风险。这并不是一种偏见，仅从学术判断专业性的角度出发而已。

这就是为什么学术界的人们非常信赖「顶会」。只有顶会能够汇聚更多的学术大咖和行业专家，让论文在更专业更深邃的审视下，能够脱颖而出。这样的论文才能经得起专业和历史的检验。然而，就 ICLR 2020 的情况来说，这次论文评分的说服力恐怕要打个折扣了。

不堪重负的顶会（们）

无论是之前爆出的「

本科毕业生成为 NIPS 2018 论文同行评审

」，还是如今的「近半数 ICLR 审稿人未在该领域发过论文」，其本质上反映的都是一个基本矛盾，即大会日益增长的投稿需求与审稿人数量有限之间的矛盾。

今年 ICLR 的截稿日期是 9 月 25 日。截至当日，ICLR 的投稿量达到了 2600 篇，比去年多出 65%。而在 2017 年，这一数字仅为 490，三年时间增长 4 倍还要多。

当然，面临这一情况的可不止 ICLR 一场大会。今年的 NeurIPS 2019 大会收到了 6743 篇有效论文，比 2018 年（4856）增长了近 40%；CVPR 2019 大会共收到 5165 篇有效提交论文，比去年增加了 56%；ACL 2019 接收的有效论文数近 2700 篇，相比去年的 1544 篇增加了 75%。

压力都是相似的，出的问题自然也是相似的。早在去年 5 月份，NeurIPS 大会就被曝出启用一名本科刚刚毕业的学生担任审稿人。这位年轻的「审稿人」在 reddit 上发帖提问，「我从来没有提交或者评审过这个大会的论文。所以我该如何选择论文？需要先从阅读旧 NIPS 论文开始学习其中的规律吗？最重要的是，如何写好评审意见？」

面对激增的投稿量，「降低审稿人选择标准」似乎是各大顶会不约而同的一个选择，这也解释了为什么每次评审结果出来之后都有人吐槽，「我觉得审稿人没有看懂我的论文。」也许，他/她真的没有看懂。

ICLR 2020 论文评审整体情况

虽然评审工作一地鸡毛，但我们还是可以看一下今年论文的整体情况。毕竟，论文该投还是要投的……

今年评审得分的分布：均分 3.91，中位数 3.84。

数据来源 [1]

Top5 得分论文的分数范围在 8.20-8.91 之间：

此外，Github 网友从 ICLR OpenReview 的网页上抓取了数据，在 2594 篇提交论文的基础上，对本次 ICLR 论文提交情况进行了可视化的呈现；

投稿关键词中，深度学习、强化学习、表示学习、生成模型、图神经网络等是热门话题。

所有论文中常用关键字的 Top50，以及它们出现的频率如下：

参考资料：

[1]https://colab.research.google.com/drive/1vXXNxn8lnO3j1dgoidjybbKIN0DW0Bt2#scrollTo=_qmSij2me5bX[2]https://mp.weixin.qq.com/s/D1PSqS1fbmMQrFDPPZVakw[3]https://github.com/shaohua0116/ICLR2020-OpenReviewData [4]https://chillee.github.io/OpenReviewExplorer/ [5]https://twitter.com/cHHillee/status/1191823707100131329 [6]https://www.reddit.com/r/MachineLearning/comments/drs6vn/d_iclr_2020_reviews/ [7]https://www.zhihu.com/search?q=ICLR%202020&range=1d&type=content [8]https://www.reddit.com/r/MachineLearning/comments/ds7mk0/d_explaining_your_iclr_reviews/

https://www.toutiao.com/i6756423836272427534/

顶会「扩招」，一地鸡毛：ICLR2020近半数审稿人未发过相关论文相关推荐

河南省哪个单招学校学计算机最好,河南单招走哪个学校好？「公办大学扩招」...
报名答疑河南单招走哪个学校好?「公办大学扩招」编辑: 时间:2020-09-07 08:48:01 河南单招学校哪个好呢,排名前十的单招学校有哪些呢,单招考试一般来说是针对成绩不是很好的考生,单招 ...
懂「互联网语」的程序员，是个狠人。
借用一下时下很火的「互联网语」做程序员的乐趣是只有进场的人才能获得的红利与程序员相处绝对是令人WOW的用户体验但是别真信那些个程序员说的话哪怕有无数江湖传言为他背书不然你良久建立的心智模 ...
华为疯狂扩招3000名数据分析师，招聘要求让人窒息！
最近后台又收到很多粉丝工作不顺.压力山大的苦水,我总结了一下,主要是这3方面: ▎入行两年,薪资9K,涨薪太难...... ▎熬夜做出来的数据,被各种质疑...... ▎公司裁员,数据分析成了第一批. ...
扎心了！腾讯扩招至5000人，99%应届生：与我无瓜
[新智元导读]腾讯校招启动,岗位多达5000以上.预计,其他互联网公司也会「扩招」.秋招能否冲击疫情带来的求职寒冬?应届生们纷纷表示,腾讯的扩招,华为的年薪,成功的光环,是给了应届生,但没给「我」. ...
亚马逊10000人大裁员已启动！谷歌绩效强制打低分跟风「毕业潮」
新智元报道编辑:好困 Aeneas [新智元导读]硅谷裁员接力的下一棒,今天落到了亚马逊手里. 最近,硅谷大厂们轮番上演「毕业」大戏. 推特.Meta.Salesforce.Stripe等大 ...
亚马逊10000人大裁员今启动！谷歌绩效强制打低分跟风「毕业潮」
视学算法报道编辑:好困 Aeneas [导读]硅谷裁员接力的下一棒,今天落到了亚马逊手里. 最近,硅谷大厂们轮番上演「毕业」大戏. 推特.Meta.Salesforce.Stripe等大厂, ...
投稿人就是AI顶会最好的「审稿人」！中国学者提出同行评审新机制
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达来源丨新智元编辑丨极市平台导读近年来,机器学习顶会论文数目井喷 ...
应对「高并发」的思路
大家好,我是Z哥. 最近正好在编写一套新的面试题,其中有一道是与高并发相关的.出题的目的是想了解一下候选人面对大流量场景下的优化思路.在出这道题的过程中,我自己也梳理了一下自己对这个问题的思路. 然后 ...
论文作者串通抱团、威胁审稿人，ACM Fellow炮轰「同行评审」作弊
来源:机器之心编辑:陈萍.杜伟布朗大学计算机科学系教授.机器学习研究者.2018 年 ACM Fellow 迈克尔 · 利特曼(Michael L. Littman)在 ACM 通讯上发文斥责「部 ...

顶会「扩招」，一地鸡毛：ICLR2020近半数审稿人未发过相关论文

顶会「扩招」，一地鸡毛：ICLR2020近半数审稿人未发过相关论文相关推荐

最新文章

热门文章