ACM Fellow发文抨击「同行评审」作弊:有「门道」的作者带飞,垃圾论文也能轻松中顶会...
贾浩楠 发自 凹非寺
量子位 报道 | 公众号 QbitAI
美国知名AI学术大牛,在ACM官网刊文,直指AI学术界最尖锐的问题:
论文盲审,存在严重作弊行为。
措辞之严厉,揭露之详细,学术圈罕见。
而让这位AI大牛无法再继续保持沉默的,正是震荡发酵至今的佛罗里达大学中国博士生被逼学术作假后自杀事件。
AI大牛为何忍无可忍?
首先来认识一下这位学术大牛。
关注AI学术会议的一定不陌生,Michael L. Littman,2013年AAAI联合项目主席,布朗大学计算机科学系教授。
研究领域涵盖机器学习、博弈论、计算机网络、马尔可夫决策过程等,在强化学习方面有很高的建树。
2018 年,Littman因其为人工智能的顺序决策算法的设计和分析做出的贡献,被选为ACM Fellow。
这位在AI圈有很大影响力的人物,在最新发表于Communications of ACM官方杂志上的文章中,揭露了AI学术界严重的审稿作弊行为。
Littman解释道,他写这篇文章的直接动机,是一直在关注的2019年佛罗里达大学中国籍博士被逼自杀一事。
事情缘由,是一篇名为《3D-based video recognition acceleration by leveraging temporal locality》的ISCA论文。
在读的中国博士生是一作,他在自己的遗书和与他人的通信记录中,指控他的华人导师逼迫他学术造假。
之后导师通过私人关系使论文过审,还威胁这位同学不准撤稿,否则“弄死他”。
最后,这位同学选择在博士即将毕业之际结束自己的生命。
量子位之前详细报道过此事。今年2月,ACM官方也出了调查处理结果,严厉处罚了涉事人员。
Littman教授没有在文章中指名道姓,但在结尾的Note中附上了这个轰动中美学术界事件的链接和当事人的博客。
Littman认为,“评审作弊”问题日益严重,危害到计算机科学的成果产出和传播。而他希望通过曝光类似行为的幕后操作,来呼吁社会对学术界“不法团伙”施压。
同时也希望能帮助“解救”被迫裹挟进集体学术造假的研究生们。
Littman教授对自杀的中国博士生表达的惋惜与悲痛,他说“他宁可选择自杀,也不愿意参与内外勾结的学术不端”。
显然,Littman教授是对这颗“毒瘤”如何出现,怎么运作有了比较直观的调查了解。
“同行评审”,怎么作弊?
垃圾论文为什么能通过同行评审?
Littman以自己参加和组织学术会议的经验总结出了论文同行评审的一般流程。
同行评审过程是由一个程序委员会进行的,该委员会由一到两名程序主席、几百名项目主席和大约5000名评审员组成。
审稿人被要求事先声明利益冲突,委员会因此不会被指派他们去审阅可能影响公正性的论文。
而作者在提交论文时,要隐去他们的名字以便盲审。
有资格的审稿人根据论文标题/摘要对提交的特定论文进行 “竞标”。
最后由项目主席分配论文。
接下来,就是评审员阅读论文并提交评审意见。交流意见后,给出接受或拒绝的建议。
区域主席和项目主席则利用这些建议来制定会议具体议程方案。
正常情况下,录取率很低(15%-25%)。而在绝大多数顶级会议一年一次。所以论文被拒(尤其是对研究生来说)会对未来的工作前景产生很大影响。
所以,一些人就动起了歪心思,想方设法提高通过率。
作弊者的“朋友圈”怎么拉?
Littman提到了一个特殊的案例,由ACM的一名项目主席发现线索,并花了大量时间调查分析,但依然没有指名道姓。
一般来说,都是一个团队事先串通好,对论文数据结论等等进行伪造,然后向会议提交论文。
接着,由有“能力”的作者去拉拢认识的评审员,透露论文标题、作者信息。
涉事的评审员当然不会报告利益相关,而“竞标”审阅目标论文,有时甚至会多注册好几个账号,增加中标的几率。
评审员会给这些论文写出非常积极的评价,甚至可能通过私下渠道游说项目主席,将他一块拉下水。
此外,如果这位“有能力的论文作者”意外发现其他评审的名字,有可能会给他们发邮件,连威胁带引诱,能拉一个是一个。
评审员在给垃圾论文“放水”时,在讨论中会暂时改掉会议管理系统中的名字,以“保护”自己的名声和羽毛。
鉴于许多会议有接收论文数量的限制,这种内幕操作得手,就意味着有一篇本来很有价值的论文被拒绝。
会议的质量不可避免受到影响。
今后怎么办?
现在还不知道。
2019年的悲剧发生后,经过20个月的调查,今年2月,ACM给出了史上最严厉的处罚:
15年内,禁止涉事情节最严重人员在ACM相关期刊发表一切学术成果。
不得担任何评审、编辑或项目委员会的职务。
而被自杀博士生指控的导师,和佛罗里达大学,却没有声明。
前段时间,网络上流出一封辞职信,表明涉事导师已经从佛罗里达大学辞职,但真实性无法考证。
但目前也仅止步于此。
AI顶会的评审机制上如何改善,防范调查手段如何设置,包括ACM、IEEE在内的机构,仍然没有明确的制度或相关议程公布。
Littman教授在文章中说,希望通过自己的发声,呼吁社会对学术界的不法行为施压,也是眼下一种“没有办法的办法”吧。
但ACM官方刊登此文,似乎也表明意识到了问题严重性,而目前学术界能做的,只有静观其变了。
参考链接
https://cacm.acm.org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext#comments
ACM Fellow发文抨击「同行评审」作弊:有「门道」的作者带飞,垃圾论文也能轻松中顶会...相关推荐
- ACM Fellow发文抨击【同行评审】作弊轻松中顶会
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:量子位 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 美国 ...
- 论文作者串通抱团、威胁审稿人,ACM Fellow炮轰「同行评审」作弊
来源:机器之心 编辑:陈萍.杜伟 布朗大学计算机科学系教授.机器学习研究者.2018 年 ACM Fellow 迈克尔 · 利特曼(Michael L. Littman)在 ACM 通讯上发文斥责「部 ...
- 学术圈要炸锅:论文作者和审稿人串通欺骗盲审,ACM Fellow发文痛斥!顶会“想中就中”...
作者 | 琰琰.维克多 近日,ACM Fellow.美国里普罗维登斯布朗大学计算机科学卓越教学的罗伊斯家族教授迈克尔·利特曼(Michael L. Littman)在ACM通讯上发文,痛斥部分学者威胁 ...
- 一起读论文 | 高质量的同行评审意见应该写哪些内容及如何组织?
导读:今天分享一篇美国东北大学NLP实验室发表在NAACL 2019上的研究论文<Argument Mining for Understanding Peer Reviews>.与< ...
- 投稿人就是AI顶会最好的「审稿人」!中国学者提出同行评审新机制
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 来源丨新智元 编辑丨极市平台 导读 近年来,机器学习顶会论文数目井喷 ...
- Reddit高赞:机器学习领域「八宗罪」!同行评审变味,盲目崇拜盛行
近日,Reddit社区一篇批判机器学习领域的文章引发了热议,获得了3.1k的赞.作者细数了机器学习领域存在的「八宗罪」,让科研人员对机器学习大环境有了新的思考. 越来越多的科研人员都选择进入机器学习这 ...
- 刚刚,2020 ACM Fellow放榜!陈怡然、颜水成、周昆等12名华人当选
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 转载自:新智元 [导读]纽约时间1月13日,ACM公布了2020年当选的95名ACM Fell ...
- 2020 ACM Fellow放榜!陈怡然、颜水成、周昆等12名华人当选
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:新智元,ACM AI博士笔记系列推荐 周志华<机器学习 ...
- 2022 ACM Fellow名单出炉!北大梅宏、CMU邢波、腾讯俞栋等13位华人入选
来源:新智元 57人新当选2022 ACM Fellow,共有13位华人入选. 此次提名表彰他们在网络安全.人机交互.移动计算和推荐系统等学科领域做出的广泛和基本的贡献.正是由于这些贡献和成就,使我们 ...
最新文章
- AI 商用落地为什么比互联网更难?
- Google Chrome 悄悄升级 WebGL 2.0 标准
- 15岁成杀人犯,监狱里学编程,37岁获释后年薪70万
- 关于IsolatedStorageFile存取文件的问题
- 破除Odoo 菜单栏提示 99+
- 11月27号例会记录
- 基于MATLAB的Okumura-Hata模型的仿真
- C/S和B/S的异同
- UbuntuServer16.04LTS版怎样修改数据源为国内数据源
- 在asp.net中控制回车键
- 文件上传优化CommonsMultipartResolver
- java中的foreach
- svn中项目管理中ec_Mac中使用svn进行项目管理
- 【Android开发坑系列】之PopupWindow
- 电脑故障扫描修复软件_非常时期不出门,自己在家修电脑,三例常见电脑故障排除方法。...
- linux是否有安装java_Linux 安装 Java
- 笔记: 《分布式系统:概念与设计》第一章 分布式系统的特征
- 方舟生存进化秘籍大全
- java使用反射生成JDK动态代理
- iOS 苹果开发者注册 和 App Store问题咨询