ICLR 2020被爆半数审稿人无相关领域经验，同行评审制度在垮塌？

作者 | 若名

出品 | AI科技大本营（ID:rgznai100）

根据维基百科，同行评议（peer review)，是指由一个或多个具有与作品生产者具有相似能力的人员（同行）对作品进行的评估活动。同行评审方法用于维持质量标准以及提供信誉背书。在学术界，学术同行评审通常用于确定学术论文是否适合发表。

计算机领域的顶尖会议评选论文前，一般都有同行评议人员进行评分筛选。不过，随着顶会论文的数量不断增多，同行评议制度的弊端也在显现。

截止 9 月 25 日，ICLR 2020 大会共收到近 2600 篇投稿，相比 ICLR 2019 的 1580 篇论文投稿，今年增幅约为 62.5%。

近日，英伟达机器学习研究负责人 Animashree Anandkumar 在推特上向 ICLR 2020 的同行评议审稿人开炮。

她称，每个即将到来的 AI 会议的同行评议质量都在变差。我们的 #ICLR 2020 审稿人的评分有极大的差距（8 分和 1 分），评分较低的审稿人太令人讨厌和痛心了。这就像他们在参加战斗并想要破坏竞争一样。这不健康，还有哪些替代选择吗？

对同行评议抨击后，Animashree 发布了数条评论：

“我严重关切向那些AI 会议投稿的年轻人的情绪健康，（同行评议）对他们有巨大的影响。我们没有花足够的时间关注它（论文）。我考虑过只发表（论文）到@arXiv_Daily上，让社区决定论文是否对研究者有用。”

她告诫学生和向#ICLR2020投稿的作者不要在意审稿人意见，如果你相信自己的研究，就必须继续为此而奋斗，并尝试接纳具有建设性的评审建议，但不要让审稿人决定你的自我价值。

她对不专业的审稿人感到愤懑，并抨击了入选同行评议审稿人的标准。

“ICLR2020 的同行评议中对专家的自我评估是很奇怪的。无知的人声称自己是专家(通常来自特权阶层)，而谦逊的人不想这样做。我看到的是AC，教授把自己的排名放在中间，而本科生却把自己排在专家的位置。”

学界教授声援，同行评议制度在垮塌？

由于每个审稿人的关注点不同，给出的分数也会不同，但顶会论文中评分差距较大的论文也并不少，面对 Animashree Anandkumar 对同行评议审稿人的控诉，杜克大学陈怡然教授也分享了自己的投稿经历：

UC 伯克利大学教授马毅则在微博上也进行了声援：

“我已明确告诉我的学生，以后solid，deep的工作，post到arxiv，主要发期刊。conference方便试一次就好，中不中无关紧要。就把conference当成科研写作的基本训练，入门要求。照目前发展趋势，所有所谓顶会的文章，尤其是AI 领域，很快会被当成混饭吃的玩意儿。至少真正做学问的地方和人不会再看重。当然，也奉劝那些真想做学问的，别老想去凑什么热闹，自取其辱。”

随后，@南大周志华教授在微博上发了推特截图：“某高层群传来的信息，ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文

。。。投稿量远远大于合格审稿人群所能（超负荷）承受的程度，会使得顶会逐个垮塌。。。或许最终只好回到期刊去了”

尽管同行评议制度有其缺陷，但目前来看它依然是论文评审的重要选择，关键在于如何让该制度变得不水，更具公信力？

有学者称，解决此问题的一种方法是对审稿人进行评分（通过论文作者、其他审稿人和区域主席），并公开这一评分数据，这将完全提高审稿人的积极性，也为区域主席提供根据情况进行审稿的工具。

Animashree Anandkumar 回应称，“我们应该要求审稿人负责。如果我们允许作者进行评分，则给分较高的审稿人将会获得更高的评分，而不是哪些给出客观评分的审稿人。那能仅限给出 AC（accepted）的审稿人和其他审稿人吗？我试图找出不道德的审稿人，但这并不容易。”

清华大学刘知远教授认为，open review（公开评审）机制一定程度可以纠正错误或不专业的审稿意见。

不过，周志华教授也指出，open review 仅当参与者都是相当级别的专家才有效，否则更容易被误导。“学术判断不能“讲平等”，一般从业者与高水平专家的见识和判断力不可同日而语，顶会能“顶”正是因为有高水平专家把关，但现在已不可能了。”

对同行评议制度，你有何见解？欢迎评论。

一个彩蛋

值得一提的是，由于 ICLR 2020 大会今年取消了模棱两可的分数，只有reject(1), weak reject(3), weak accept(6), 和 accept(8) 这四个档，这导致今年的平均分低于往年。当然也不乏高分论文，推特网友@ankesh_anand整理了 ICLR 2020 评分最高的 11 篇论文，它们的分数全部都是 8 分：

1、BackPACK: Packing more into Backprop

https://openreview.net/pdf?id=BJlrF24twB

Code: https://toiaydcdyywlhzvlob.github.io/backpack/

2、FreeLB: Enhanced Adversarial Training for Language Understanding

https://openreview.net/pdf?id=HkxlcnVFwB

3、GenDICE: Generalized Offline Estimation of Stationary

https://openreview.net/pdf?id=Hkxvl0EtDH

4、A Causal View on Robustness of Neural Networks

https://openreview.net/pdf?id=HylsTT4FvB

5、A Theory of Usable Information under Computational Constraints

https://openreview.net/pdf?id=r1eBeyHFDH

6、CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning

https://openreview.net/pdf?id=HJgzt2VKPB

7、Dynamics-Aware Unsupervised Skill Discovery

https://openreview.net/forum?id=HJgLZR4KvH

8、Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem

https://openreview.net/forum?id=BJe55gBtvH

9、Recurrent Hierarchical Topic-Guided Neural Language Models

https://openreview.net/pdf?id=Byl1W1rtvH

Code: https://drop.me/BbR8pr

10、On the "steerability" of generative adversarial networks

https://openreview.net/pdf?id=HylsTT4FvB

11、Smooth markets: A basic mechanism for organizing gradient-based learners

https://openreview.net/pdf?id=B1xMEerYvB

（*本文为AI科技大本营原创文章，转载请微信联系 1092722531）

◆

精彩推荐

◆

2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。6.6 折票限时特惠（立减1400元），学生票仅 599 元！

ICLR 2020被爆半数审稿人无相关领域经验，同行评审制度在垮塌？相关推荐

顶会「扩招」，一地鸡毛：ICLR2020近半数审稿人未发过相关论文
机器之心报道机器之心编辑部昨日,ICLR 2020 评审结果放出,被大量作者吐槽,甚至有开发者统计,本次大会近半数审稿人没有在相关领域发过论文.这把不久之前刚被清华列为人工智能 A 类顶会的 IC ...
ICLR 2020 | “同步平均教学”框架为无监督学习提供更鲁棒的伪标签
©PaperWeekly · 作者|葛艺潇学校|香港中文大学博士生研究方向|图像检索.图像生成等本文介绍一篇由港中文发表于 ICLR 2020 的论文 Mutual Mean-Teaching: ...
AI顶会ICLR‘23作者竟让审稿人重读幼儿园? 大会主席强硬回复!
近日,根据轻松参会ICLR2023交流群多位群友提供消息,<In-the-wild Pretrained Models Are Good Feature Extractors for Video ...
机器视觉牛人及其相关领域分类科普
机器视觉方向的明星人物介绍简要归类以下进行了简要的归类:可能部分类别有重叠或重复,详见人物介绍和相应网址领域人物编号图像分割 CV1.CV10.CV14.CV18.CV33.CV34 图像图 ...
一片哗然！ICLR 2020被曝47%的审稿人没发过相关论文
乾明鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 决定你论文是否中选顶会的人,可能自己都没有发过相关论文. 这不是开玩笑,而是正在发生的事情. 出现这种情况的,正是深度学习领域的顶级会 ...
审稿人意见回复 Response to revierwers (Updating)
原则/态度所有问题必须逐条回答,不要带有侥幸的心理. 尽量满足所有的修改意见. 审稿人推荐的文献一定要引用,并讨论透彻. 避免言辞过激,礼貌回应. 避免返工. 开头致谢 We gratefully ...
关于期刊审稿与同行评审，论文“不为所知”的拒稿秘密在这里
一.学术论文一般发表流程: 学术期刊的编辑在收到投稿文章之后,首先会进行编辑初审,初步审查投稿文章是否符合期刊的相关主题内容.特定质量标准与具体格式规范.如果文章大体符合期刊的各类要求,则编辑将决定进 ...
CVPR和ICLR双榜公布，最离谱审稿人竟然没读论文！
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达来源丨新智元随着顶会论文越收越多,审稿人手又不够,所以分配到的审稿人也是良莠不齐.最近CVPR 20 ...
无内鬼，来点ICML/ACL审稿人笑话
文 | Sheryc_王苏最近,如果你的小伙伴突然没时间陪你出来玩了,请不要担心,ta可能正在与ICML/IJCAI/ACL的审稿人斗智斗勇. 过去的一周里,机器学习顶会ICML.人工智能顶会IJC ...

ICLR 2020被爆半数审稿人无相关领域经验，同行评审制度在垮塌？

推荐阅读

ICLR 2020被爆半数审稿人无相关领域经验，同行评审制度在垮塌？相关推荐

最新文章

热门文章