点击上方“视学算法”,选择加"星标"或“置顶

重磅干货,第一时间送达

来源丨新智元

编辑丨极市平台

导读

近年来,机器学习顶会论文数目井喷,审稿压力巨大,其同行评审制度备受质疑。宾大教授针对此挑战提出了由论文作者协助的新型同行评审机制。

你是否已经受够了NeurIPS,ICLR,ICML等会议的审稿意见?

你是否有过最好的论文被拒稿,但是相对差的论文反而被接收的经历?

相信对众多机器学习、人工智能领域的从业者来说,这种现象已经见怪不怪了。

人工智能专家Ian Goodfellow在Twitter上抱怨同行评审(peer review)

机器学习的成功依赖于大型会议,这一领域发展非常迅速。而期刊审稿周期相对较长,因此大部分最新的工作都首先发表在会议上,像NeurIPS,ICLR,ICML等,这对机器学习的发展壮大起了很重要的作用。

一般来说,学术会议会邀请某一领域的专家审稿 - 即通过同行评审制度 - 决定论文是否值得发表。可以说,顶会现在的成功,很大程度上也要归功于同行评审制度。

反之,如果研究工作不经过可靠的同行评审就发表,可能会带来许多问题:大多数人,即非专家,无法分辨研究结果的好坏对错;也会对研究造成混乱,后人可能会引用错误的结果、结论,这无疑也会阻碍机器学习领域研究的进步。

因此,随着研究人员及论文的数量成倍增加,同行评审的可靠性在今天变得更加重要。对这一制度可靠性的分析和相关的改进方法,也渐渐成为一个热门话题,并引起学术界和业界的关注。

如何改进同行评审的机制,提高审稿流程的可靠性呢?

近日,宾夕法尼亚大学沃顿商学院和计算机系的苏炜杰教授在今年NeurIPS上发表的一篇文章为改进同行评审提供了新的思路,提出一个简单实用的方法,结合了统计和优化的思想。

该研究认为,既然增加审稿人数,或给每个审稿人分配更多的论文不现实,那我们可以要求投稿作者提供信息来协助我们决策,「人尽其才,物尽其用」。然而,又要保证投稿人不会为了自身利益提供不实信息。 那么, 应该如何设计这一机制呢?

论文地址:https://arxiv.org/abs/2110.14802

苏炜杰教授针对性地提出了一种新机制:保序机制(Isotonic Mechanism),并从理论上保证了该机制既能激励投稿人提供真实的信息,又能增加审稿结果的可靠性。

背景

正所谓「成也萧何,败也萧何」,同行评审本应是高质量、高影响力研究的过滤器。然而,随着近年来人工智能和机器学习会议大火,投稿数量激增,同行评审制度似乎有一点变味了。

例如,在2014年著名的NeurIPS实验中,人们观察到评审分数具有惊人的高度随意性。从理论上讲,如果重新审稿,NeurIPS 2014年录用的一半以上的文章将被拒稿!

2014NeurIPS实验中第二组委员会对第一组委员会评审意见的结果,

随机选择的被第一组接受的论文中,50.9%被第二组拒绝

究其原因,是海量的投稿导致专业审稿人员数量不足,会议不得不让很多没发过论文的新手来审。以及人均审稿数目增加,使得审稿人员在每篇论文上花费的时间大大减少,一篇论文往往几分钟时间就被判了死刑!

像NeurIPS这一机器学习顶会的投稿量已经从2014年的1673篇增长到今年的9122篇,很多研究人员个人就提交了10篇甚至更多,然而合格的审稿人增长数量根本不可能这么快。

这导致同行评审的质量直线下降,饱受诟病,无法达到它的初衷。如果不改革同行评审制度,从长远来看,势必会削弱公众对机器学习的信心,也会阻碍人工智能的发展。

ML/AI会议论文的爆炸式增长

海报地址:http://www-stat.wharton.upenn.edu/~suw/paper/iso_poster.pdf

当然,学术界早已注意到同行评审制度的相关缺陷,也提出了一些改进的举措:从志愿审稿改为雇佣审稿,或者更加公开的评审(如ICLR在OpenReview上进行审稿),等等。然而,它们要么不切实际,要么会带来新的问题。

同行评审仍然是「可用的最差系统」。

保序机制(Isotonic Mechanism)简介

假设投稿人投出了n篇论文,其真实分数为R1, R2, …, Rn,假设投稿人知道这些真实分数的排序(数学上表示为1, 2, …, n的置换)。

那么,机制要求投稿人汇报自己对这n篇论文打分的排序π,再结合审稿人给出的原始平均分数y1, y2, …, yn,解一个凸问题并给出最终分数。

形式上,这个凸优化问题为:

另外,该机制还假设投稿人是理性的。即投稿人汇报排序π的最终目的是让自己的利益最大化。数学上,表现为投稿人希望机制得出的最终分数可以最大化如下效用函数:

这里假设U是一个不减凸函数。

保序机制的理论保证

我们先将对假设的介绍和对合理性的讨论稍稍后放,以便于突出文章的主要结果,也就是保序机制相对于原始分数在理论上的优越性:

1. 投稿人的最佳策略是如实报告他/她的论文原始分数的真实排序;甚至在投稿人不能完全确定所有真实分数排序时,报告所知道的所有真实信息也是其最优选择。

2. 机制所提供的调整后的最终分数确实严格地比审稿人提供的原始分数要准确。

仅仅是汇报分数的排序,就会提高准确度,其实用性不言而喻。不仅如此,文章作者还进一步对更一般的情况做了推广,文章对投稿人只知道真实分数的分块排序、机制的稳健性(鲁棒性)、效用函数不能表示成n个论文各自效用之和的三种情况进行拓展讨论,充分的展示了保序机制强大的校正功能,以及丰富的现实意义。

到这里,我们再回头看一下假设。除了对函数U的要求,还要求投稿人自己对真实信息必须有一定的了解(这样才能进行协助),以及审稿人打分相对真实分数的噪声在置换下的分布是不变的(可交换性)。这些假设也都是比较实际的。

需要格外注意函数U是凸的假设,对以上结论的成立是至关重要的。这似乎与传统经济学理论中的边际效益递减矛盾。但这里效用衡量的不是「量」的大小,而是决定了论文是否会被作为海报、口头报告,甚至是全会报告的分数。对很多研究者,追求会议论文更大的影响力反映了他们真实的需求,因此效用函数的凸性有其合理性。

保序机制的提出背景

保序机制(Isotonic Mechanism)命名的由来是因为对应的凸问题正是统计学中「保序回归(Isotonic Regression)」的问题形式。

保序回归在观念上是寻找一组非递减的片段连续线性函数,即保序函数,使其与样本尽可能的接近。

保序回归:https://en.wikipedia.org/wiki/Isotonic_regression

另一方面,这篇文章写完提交NeurlPS后不久,大会组织者要求所有作者对他们的文章做一个质量排序,这与保序机制不谋而合。这篇文章非常「及时」,尽管最后并没有用它在今年NeurIPS来做决定。

文章与NeurIPS 2021会议的巧合

值得注意的是,提出该机制的苏炜杰教授差不多有半数文章发表在统计、优化和信息论等领域的期刊,也有大量论文发表在机器学习顶会上,对二者的审稿质量以及录用文章质量的差异深有体会。

一般来说,拥有巨量投稿数量的机器学习顶会的录用文章平均质量要比期刊差很多。同时机器学习的一个特点是一个作者或研究组经常一次提交多篇论文,比如强化学习研究员Sergey Levine向ICLR 2020一次就提交了32篇论文!而保序机制的理论也表明文章数目n越大,提升也越大。

值得注意的是,保序机制的理论证明用到了凸函数和优超不等式等不少数学技巧,熟悉数学竞赛的同学想必不会陌生。

总结与展望

本文提出了通过利用投稿人提供的信息改进同行评审制度的「保序机制」,即激励投稿人报告真实的排序,从而获得更好的决策。

该机制便于实施,且具有理论的最优性保证,如果能在现实中使用该机制,很有希望在一定程度上缓解当前的机器学习顶会的低质量评审问题。

然而,利用额外的作者信息来改善同行评审是一个新型的研究方向,在投入实际应用前还需要一定的努力。对保序机制而言,未来还有一些工作需要完成:

  1. 虽然效用函数为凸一定程度上符合研究者的偏好,但是对于一些追求中稿数量的研究者,效用函数可能是一些特殊的非凸函数(例如阶梯状的函数)。如何改进技巧应用到这种问题上?

  2. 当前改进同行评审已经有一些初见成效的工作,如何将他们结合进来?

  3. 保序机制的准确性是使用L2误差来衡量的。有没有更符合实际情况的误差函数?

  4. 如何应对投稿人策略性地利用保序机制,例如故意提交低质量论文变相抬高分数?

  5. 在跨学科评审和多个审稿人多个作者的情况下,如何保证噪声的可交换性,如何对应修改保序机制?

  6. 保序机制要求提供论文质量的排序是否有附带好处?比如要求作者对自身论文质量有更清楚的认识,或许会减少会议论文常见的「guest authorship」。

无论如何,该机制针对的是一个有关机器学习领域前途的重大问题。如果该问题能解决,将产生巨大的影响力,甚至可以将这种评级制度出圈应用到各种评价环节,具有十分重大的现实意义。

作者简介

文章作者苏炜杰是宾夕法尼亚大学沃顿商学院统计与数据科学系和工学院计算机系助理教授。任宾大机器学习研究中心联合主任。分别于北京大学和斯坦福大学获得本科和博士学位。曾获得NSF CAREER Award和斯隆研究奖。

参考资料:

https://arxiv.org/pdf/2110.14802.pdf

https://www.toutiao.com/i7039916197835506209/?timestamp=1639147753&app=news_article&group_id=7039916197835506209&use_new_style=1&req_id=202112102249130101310380762754C599&wid=1639647590857

https://arxiv.org/pdf/2109.09774.pdf

https://www.reddit.com/r/MachineLearning/comments/r24rp7/d_peer_review_is_still_broken_the_neurips_2021/

https://hub.baai.ac.cn/view/10481

https://zhuanlan.zhihu.com/p/90666675

https://cloud.tencent.com/developer/article/1172713

http://eprints.rclis.org/39332/

如果觉得有用,就请分享到朋友圈吧!

点个在看 paper不断!

投稿人就是AI顶会最好的「审稿人」!中国学者提出同行评审新机制相关推荐

  1. 一个互联网「打工人」的卑微一天

    大家好,我是「打工人」安酱.午安!打工人! 今天是一年一度的程序员日,但是老天也给我们开了一个玩笑,2020-1024=996.冥冥之中在暗示着什么,但是好像也没啥办法.另外,不知道最近大家有没有被「 ...

  2. 对话雪球创始人方三文:「打工人」如何选行业、找工作、挑老板?|创新大会 2021...

    面对内心要悲观和保守,面对外界要乐观和进取. 如何赚钱永远是多数人关心的头等大事. 但多数年轻人积累财富的起点,基本是作为「打工人」赚取的工资.这时候,除了入对行业,选对公司和老板也极其关键. 在中国 ...

  3. 为什么 User 应该翻译为 「使用权人」 ?

    User, 旧译「用户」,我在此向大家倡议有条件地选择翻译为「使用权人」. 1. __使用权人__更能反应 User 的本质特征 我们看到一匹马的时候不会说这是一头猪,而 User 的本质是什么?在我 ...

  4. 不让「数据孤岛」成为 AI 发展的绊脚石,「联邦学习」将成突破口?...

    雷锋网 AI 科技评论按:人工智能经过漫长发展,近些年成功突破技术与算力上的限制,因此得以在新世纪发挥着举足轻重的作用.不过随之而来是一系列的新问题--最典型的比如「数据孤岛」问题.该问题一日不被解决 ...

  5. AI,来感受被「分手厨房」支配的恐惧吧!

    鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 盆友,你感受过被分手厨房,啊不,<煮糊了>(Overcooked)支配的恐惧吗? 其实,别说是你,就是AI们碰上需要多人配合,又 ...

  6. 【AI能否取代设计师】「Stable Diffusion」AI绘画黑科技将告诉你答案

    上一篇文章:[AI绘画]我以Midjourney为主学习AI绘画效果咋样?_山楂山楂丸的博客-CSDN博客 目录 前言 一.「Stable Diffusion」 是什么 二.「Stable Diffu ...

  7. 硅谷华人AI精英大批回国成趋势,BAT在美设「挖人」据点,猎头暗中潜伏

    编译 | Rik R.张震 来源 | Bloomberg 几年前,王翌还在追求着美国梦.他从普林斯顿毕业,在谷歌找到一份工作,在硅谷买了一套宽敞的公寓. 但在 2011 年的一天,他与妻子在厨桌旁促膝 ...

  8. NLP与AI会议期刊详细整理「CCF, SCI」

    NLPer-Conferences-Journals-Survey 本文旨在调查所有可用的 NLP+AI 会议和期刊(主要针对自然语言处理的学者),包括CCF等级.SCI.影响因子.主页和投稿介绍. ...

  9. 产品周报第25期|博文分享新增「分享人」标识,「读者分享」可记录分享人带来的阅读量明细……

    hello,大家好,这里是「CSDN产品周报」第25期.本次更新主要涉及博客及问答,欢迎大家详细了解和使用. 一.博客使用体验优化 支持统计分享人带来的阅读量明细 PC.WAP 端分享链接增加分享人标 ...

最新文章

  1. SAP MM 史上最偷懒的盘点事务代码MI10
  2. 微信小程序支付最容易犯的坑notify_url(支付回调)
  3. 作业调度框架_Quartz
  4. VS Code 1.39 发布!Web 版 VS Code 是否离我们越来越近了?(文末彩蛋)
  5. 处理JUnit中异常的另一种方法:catch-exception
  6. java中怎么判断依赖关系,在Maven 2中,我如何知道依赖性来自哪个依赖?
  7. C#通过Socket在网络间发送和接收图片的演示源码
  8. C++基础之返回数组
  9. AirServer for Mac(ios投屏到mac的实用工具)
  10. 2017 Multi-University Training Contest 5 solutions BY 吉如一
  11. html三角形下拉列表,select自定义小三角样式代码(实用总结)
  12. 采集天眼查的10个经典方法
  13. LOJ-10105(欧拉回路模板,套圈法,递归)
  14. Linux用shell判断闰年,用Shell计算闰年
  15. Frodo and pillows CodeForces - 760B (二分)
  16. 微信小程序 java nodejs校园自动点餐系统
  17. trian和val结果相差很大。
  18. 训练MTCNN之前的环境以及依赖配置
  19. nxp的wifi驱动调试
  20. 2019金华正睿集训总结

热门文章

  1. 青少年编程竞赛交流群周报(第042周)
  2. 【怎样写代码】工厂三兄弟之工厂方法模式(三):解决方案 II
  3. 【怎样写代码】偷窥高手 -- 反射技术(七):通过反射实例化对象
  4. 如何记录2秒内实现1800度转体+翻腾,百度智能云黑科技教你看懂跳水
  5. 程序员:我不学Python了!!
  6. 超越英伟达的,不会是另一款GPU!中国公司发布首款数据流AI芯片
  7. Python 图像处理 | 图像平滑之均值滤波、方框滤波、高斯滤波及中值滤波
  8. 易观的大数据中台之路
  9. 钢铁侠“变身”AI布道师?小罗伯特·唐尼这次推出一部AI科普纪录片
  10. 基于GAN的图像水印去除器,效果堪比PS高手