作者 | 琰琰、维克多

近日,ACM Fellow、美国里普罗维登斯布朗大学计算机科学卓越教学的罗伊斯家族教授迈克尔·利特曼(Michael L. Littman)在ACM通讯上发文,痛斥部分学者威胁计算机科学研究的完整性。

ACM通讯(Communications of the ACM,CACM)是ACM面向所有会员发行的期刊,是最久远最受尊敬的计算机期刊之一。

在文章中,迈克尔指出了一个或许普遍存在,但却没人注意的学术道德现象:共谋。

即几位作者提前串通好,将他们的论文提交至顶会,并相互告知自己的论文标题,故意违反盲审规则,并造成重大未披露的利益冲突。

另外,这些共谋的作者会争取成为这些论文的审稿人,对论文做出非常正面的评价,甚至在其他评审者不知情的情况下,通过其他渠道游说领域主席。

更有甚者,如果其他评审者有影响评审结果的可能,这些共谋者会向这些评审者发送威胁性电子邮件。

至于采取共谋的原因,迈克尔分析,顶级会议、期刊中的署名论文数量和研究者的声誉、晋升息息相关。

文章中,迈克尔并未点名哪个会议、期刊,或者学者有这种情况,但却指出,这确实是普遍存在的现象,并且已经威胁到了学术研究的公正性和可持续性。

以下是迈克尔文章的原文,AI科技评论做了不改变原意的编译:

文章链接:https://cacm.acm.org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext

对于评审过程,我想介绍一下几个重要的特征,这些特征并不是某个会议专属,至少和我参与组织的那三、四个会议高度匹配。

1.同行评审过程通常由程序委员会"执掌",委员会一般由1~2个程序主席,几百名领域主席,以及几千名评审组成。具体评审实施中,会要求审稿人说明是否有利益冲突情况,以求论文审核的公正性。

2.论文提交的时候,要求“隐”去名字,这也是俗称的盲审。值得一提的是,某著名会议去年接收了一万份论文提交,而在六年前,此会议论文提交的历史记录还仅是1000份。

3.审稿人在审稿前会根据论文的标题以及摘要进行评估,这篇论文是否符合自己的专业领域,如果符合,则进行“投标”。

4.审稿人审核哪篇论文是由程序主席决定,领域主席在分配论文的时候,会充分权衡评审的专业领域以及利益冲突情况。

5.评审阅读分配的论文,然后提交评审意见,评审之间可以相互分享对“共同负责”论文的看法,从而得出一致的结论(接收/拒绝)。领域主席和程序主席也会根据这些评审的建议,为会议制定规划。

一个顶级会议,一般来说接受率在15%~25%之间,并且大多数会议一年只允许发表一次论文,如果被“拒”,风险非常高。因为,“被接受”往往和研究者的声誉和职业生涯相关,在某些国家,知名会议和期刊上的论文数量,还是评估是否晋升、是否提高薪酬的硬指标。

基于此,研究者非常重视自己的工作,想尽办法让自己的工作能够做到尽善尽美。通常,在临近会议要求的论文提交的截止日期一两个星期内,研究者们是最忙的,废寝忘食是这一时间段的关键词,通宵达旦是常见的工作节奏。但即使如此,仍然无法保证论文“被收录”。

原因之一,评审过程是出了名的随机。例如,2014年的NIPS(现在改名NeurIPS)将会议的评审分组成了两个独立的评审委员会,然后让这两个委员会审查10%提交的论文,结果是:60%的被一个程序委员会接收的论文,在另一委员会被拒绝。

这也表明,许多论文的“命运”与审稿人有关,论文本身的内在价值也只是影响因素之一。

为了提高他们的论文接受率,有的人选择努力提高论文质量,也有的人选择投机取巧走捷径,甚至不惜作弊。

迈克尔·利特曼教授在文中揭露了一种作弊行为:勾结团伙。他说,虽然没有确凿的证据,但调查人长时间的详细调查和分析,让我没有理由怀疑他得出的结论。

以下是共谋团伙的操作手段:

  • 几位作者提前串通好,将他们写的论文提交至顶会。

  • 他们相互告知自己的论文标题,故意违反盲目审查规则,并造成重大未披露的利益冲突。

  • 他们采取各种手段,尝试成为这些论文的评审员。

  • 他们对这些论文做出非常正面的评价,甚至在其他评审者不知情的情况下,通过其他渠道游说区域主席。

  • 如果他们如期审核到了这些论文,而其他评审者可能会影响评审结果,他们有时会向这些评审者发送威胁性电子邮件。

  • 在论文讨论过程中,有些串通者会临时在网上会议管理系统中更改名字,这也许是为了避免因支持质量较差的论文而名声扫地。

如果这些行为没有被发现,那么它所带来的直接影响是,这些采取了不道德手段的且低质量的论文很可能被顶会接收。由于大部分顶会都会限制论文提交的数量,这些行为也会间接地导致更有价值的论文被拒收。更重要的是,顶会质量和整体的完整性,也会因此而受到影响。

学术界必须对共谋行为作出有力回应,警告这些作者和评审者,他们的行为是完全不可取的。

事实上,除了警告之外,还没有更好的干预措施来压制他们的这种共谋行为。据了解,顶会的组织者正在权衡数十项提案,但这些提案都存在一些潜在的漏洞。更好的论文分配技术将有助于弥补一个正在被利用的漏洞。但是,如果没有更好的调查工具,我们可能永远也无法追究共谋者的责任。

科学研究是一项需要深度合作的工作,但也处处充满了竞争,除了资金资源的抢夺,注意力、关注度也成为研究人员的“必争之地”。

但需要承认的是,大多数研究人员认为他们的工作是为了寻求更深层次的理解,而不仅仅是一种“支付账单”的方式。

因此,目前来看,同行评审过程主要还是由“诚实”的参与者组成。但是,危险随时存在,一旦不道德的行为普遍化,“诚实”的联盟将土崩瓦解。所以,现在是时候密切关注同行评审过程并调整激励机制了,确保每个人都在努力分享尽可能好的研究成果。

网友评论

这篇文章发表后,迅速登上了Hack News热榜第一,短短几个小时评论就超过了200多条。

一位网友愤怒地表示,这种行为很常见!

他说自己的一位同事花了九个月的时间完成的一篇论文,投给一个高质量的期刊后被拒收,对方给出的理由是:实验缺乏新颖性。然而在被拒之前,他发现一篇类似的研究论文发表在了arXiv上,而这篇论文采取了同样的实验方法。

还有一位网友悲观地表示,这种行为很难杜绝。

他说,只要影响因子、引用量等指标仍在一定程度上决定学者的职业发展轨迹,剽窃、共谋等学术不端行为就不会消失。对于他们而言,只要不引起丑闻,学术“不诚实”会带来巨大回报。

一位网友表示,类似的行为也开始在其他领域上演。一些学者习惯将论文发布到预印服务器上,给人一种被出版的错觉。而一般读者可能无法区分已发表的同行评议论文和在预印服务器上论文之间有何区别。

这在学术界并不会造成很大的影响,但是却可以愚弄非学术类读者。我不确定它是否或如何转化为CS论文,但随着出版速度的加快,跳过同行评审会变得越来越普遍。

有网友还表示,如作者所说,即使科研系统按规则“运行”,论文的质量也与接收几率无关。我们应该多花一些精力来研究这种共谋行为,以开发一套更好的评审程序。

对于论文质量与接收率无关的说法,一位网友表示这过于悲观,他说NeurIPS虽然表明,一个PC接受的论文中约有60%会被另一个PC拒绝。而这不意味着“论文质量与其接受率几乎无关”。它可能只是一个论文质量的门槛,一旦跨过去会有更多的可能。

“我个人对NeurIPS的看法是,有40%可能是不良论文,5-10%是非常有价值的论文,还有部分质量中等,其中很多都是靠运气或者吸引评审者而被接收的。虽然质量不是很好,但也不能只将它们剔除。”

参考链接:

https://news.ycombinator.com/item?id=27295906

重磅!DLer-AI顶会交流群已成立!

大家好,这是DLer-AI顶会交流群!首先非常感谢大家的支持和鼓励,欢迎各位加入DLer-AI顶会交流群!本群旨在学习交流人工智能顶会(CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等)、顶刊(IJCV/TPAMI/TIP等)写作与投稿事宜。包括第一时间发布论文信息和公开演讲视频,以及各大会议的workshop等等。希望能给大家提供一个更精准的研讨交流平台!!!

添加请备注:AI顶会+学校/公司+昵称(如CVPR+上交+小明)

???? 长按识别添加,即可进群!

学术圈要炸锅:论文作者和审稿人串通欺骗盲审,ACM Fellow发文痛斥!顶会“想中就中”...相关推荐

  1. 北京大学施柏鑫:从审稿人视角,谈谈怎么写一篇计算机视觉顶会论文

    1.DDL之前 研究者对顶级会议的Deadline都很敏感,比如CVPR基本都是11月第二周或者第三周截止. 但是,在这之前我们有很多的准备工作要做,不管文章是几个月赶出来,还是准备大半年.一年,在D ...

  2. 审稿人要求论文作者引用审稿人自己文章的这种行为可耻吗?

    这种行为都快成了行业内不成名的潜规则 审核后的文章说实在话,审稿人只具有审核与意见阐述的权利,要求加上自己的名字是对原著作者的不尊重 你都没写,凭什么要加你的名字 但是现在好多审核的你不加我名字,我就 ...

  3. ACM Fellow发文抨击「同行评审」作弊:有「门道」的作者带飞,垃圾论文也能轻松中顶会...

    贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI 美国知名AI学术大牛,在ACM官网刊文,直指AI学术界最尖锐的问题: 论文盲审,存在严重作弊行为. 措辞之严厉,揭露之详细,学术圈罕见. ...

  4. 推翻Hinton NeurIPS论文结论!审稿人评价:该文章在标签平滑和知识蒸馏的关系上取得了重大突破!...

    今天给大家介绍一篇 ICLR 2021 的文章,来自卡耐基梅隆大学,香港科技大学,北京大学和马萨诸塞大学阿默斯特分校(是 MEAL 系列作者的一篇最新力作). 论文标题: Is Label Smoot ...

  5. 论文写作 20: 审稿人视图

    摘要: 本贴从审稿人角度来看待一篇论文. 与 论文写作 N: 为什么我被花式拒稿 有一定的交集. 一. 顶层视图 审稿人一般从顶层视图来大致判断论文的价值. 如果这个不过关, 就会说论文没意义, 直接 ...

  6. 好家伙!迟迟不回复,SCI论文竟被审稿人剽窃?!!遇到这种情况应该怎么办?

    据RetractionWatch网站报道,来自伊朗马什哈德菲尔多西大学的机械工程师Mina Mehregan及其同事发现,自己发表在 Environmental Science and Polluti ...

  7. 论文作者串通抱团、威胁审稿人,ACM Fellow炮轰「同行评审」作弊

    来源:机器之心 编辑:陈萍.杜伟 布朗大学计算机科学系教授.机器学习研究者.2018 年 ACM Fellow 迈克尔 · 利特曼(Michael L. Littman)在 ACM 通讯上发文斥责「部 ...

  8. CVPR和ICLR双榜公布,最离谱审稿人竟然没读论文!

    点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 来源丨新智元 随着顶会论文越收越多,审稿人手又不够,所以分配到的审稿人也是良莠不齐.最近CVPR 20 ...

  9. CVPR和ICLR双榜公布!最离谱审稿人竟然没读论文!

    点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 转载自:新智元 |  编辑:好困 LRS [导读]随着顶会论文越收越多,审稿人手又不够,所以分配到的审稿人也 ...

最新文章

  1. 洛谷P2670扫雷游戏题解
  2. 2d游戏引擎_游戏60秒:RTS游戏从2D到3D的蜕变
  3. 2016没有自带公式编辑器_如何在Visio中插入数学公式
  4. jqgrid删除某一列(隐藏)
  5. 事务没提交的数据查的出来吗?_“金三银四”面试官:说说事务的ACID,什么是脏读、幻读?...
  6. python求123逆序数_应用Python来计算排列中的逆序数个数
  7. K8s:调用Java接口创建容器
  8. 分段锁——ConcurrentHashMap
  9. 第二季-专题0-课程规划
  10. Eclipse切换回中文
  11. 矩阵的运算和矩阵的秩
  12. 菜菜的sklearn-01决策树完整版
  13. 超越GraphCL,GNN+对比学习的节点分类新SOTA
  14. 尚学堂1811期python视频_尚学堂1811期Java+架构全套视频教程 下载
  15. 如何在windows上使用VMware安装macOS虚拟机
  16. 路由器或交换机密码忘了——带你修改路由器+交换机密码
  17. 美利坚合众国概况(美国概况)
  18. zlib and gzip
  19. 寒冬咳嗽不妨试试中医小偏方
  20. DACE- a matlab Kriging toolbox

热门文章

  1. PHP 打印网页 输出 pdf,image 调用wkhtmltopdf/ WkHtmlToImage
  2. 基于layer mobile手机端弹出框,询问框(PC端推荐layer和artDialog:http://download.csdn.net/download/cometwo/9437895)...
  3. ORA-24247: network access denied by access control list (ACL)
  4. 基于suse linux系统的cacti系统部署——rpm包方式
  5. lucene 索引流程整理笔记
  6. MVC应用程序播放RealPlayer(rmvb)视频
  7. HDU-1452 因子和 积性函数性质
  8. Apache+php+tomcat+mysql整合手册
  9. 为DropDownList 添加optgroup分组以及为ListItem 加式样
  10. api如何使用_使用插件扩展Qt自身