论文无法复现「真公开处刑」,PapersWithCode上线「论文复现报告」
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
来源丨机器之心
编辑丨极市平台
导读
近日,机器学习资源网站 PapersWithCode 上线了一项新功能,对于其举办的论文复现挑战赛 RC2020 中提交的一些论文,它们将提供详细的复现报告。这是 ML 社区重视「研究论文可复现性」的新信号。
现在,越来越多的机器学习(ML)研究者选择在论文发表时同步公开自己的代码,像 arXiv 这样的论文预印本平台也选择与机器学习资源网站 Papers with Code 合作,支持研究者在 arXiv 页面上添加代码链接。ICML、ICLR、NeurIPS 等一些顶会也要求投稿人在提交论文的时候附上代码,以供审稿人测试,确保其研究结果的可复现性。
但这一切仍然不代表论文复现变得容易了。前段时间,Reddit 用户「ContributionSecure14」在花费长时间复现一篇论文失败后,产生了专门列出无法复现论文清单的想法。他创建了一个名为「Papers Without Code」的 ML 研究反馈平台,专门挂出那些大家都无法复现的论文研究。
如果提交内容有效,则 Papers Without Code 方面将与该论文原作者联系,并要求其澄清或公布实现细节。论文成功复现后,可以在 PapersWithCode 或 GitHub 上发布,供其他研究人员参考。如果作者未及时答复,该论文将被添加到「不可复现的机器学习论文列表」中,公开处刑。
目前,该网站上挂出了 19 篇论文,详细列出了标题、链接、提交原因以及解决与否,可以看到有 8 篇论文显示「已被解决」。
但应看到,该网站创建数月以来,也仅仅提交了 19 篇论文,对于提升机器学习社区可复现方面远远不够。
近日,ML 领域著名的论文和代码资源网站 PapersWithCode 终于向「有代码也复现不了」这一老大难问题下手了,宣布其上线了新功能:论文可以链接到复现报告了!这是 ML 社区重视研究论文可复现性的新信号。
PapersWithCode:论文终于有复现报告了
PapersWithCode 以 ICML 2020 论文《Training Binary Neural Networks using the Bayesian Learning Rule》为例展示「论文复现报告」这项新功能。可以看到,PapersWithCode 在论文下方提供了复现报告,包括提交日期和报告摘要。
大家或者注意到了这份复现报告的提交者为「RC 2020」,这是 PapersWithCode 组织的一项 ML 顶会论文复现挑战赛。这项赛事的目的是鼓励可靠且可复现研究成果的发表和分享,ML 社区的成员可以选择顶会接收的论文来尝试复现。
所有的复现报告都将通过 OpenReview 进行同行评审,并显示在 PapersWithCode 网站原始论文的下方。在每年的复现挑战赛中,一批在「洞见性、正确性、逻辑清晰」等方面表现优秀的论文会发表在 ReScience C 期刊上。
与其他传统科学期刊截然不同,ReScience C 可以说是一个 GitHub 项目,提供了关于计算研究的每个新实现以及评审、解释和测试。PapersWithCode 的示例论文《Training Binary Neural Networks using the Bayesian Learning Rule》就发表在了该期刊上。目前,OpenReview 列出了所有在 RC 2020 挑战赛中被 ReScience C 接收的论文列表。
论文列表地址:https://openreview.net/group?id=ML_Reproducibility_Challenge/2020
用户现在可以在 PapersWithCode 和 ReScience 上查看所有 RC2020 挑战赛中的论文复现报告。
PapersWithCode 复现报告地址:https://paperswithcode.com/conference/rc-2020
ReScience 复现报告地址:http://rescience.github.io/read/#volume-7-2021
不过,目前提供复现报告的论文覆盖面还很小。PapersWithCode 的共同创建者 Robert Stojnic 表示:「目前只有经过 OpenReview 同行评审且被 ReScience 接收的论文才能提供复现报告。」
希望未来 PapersWithCode 可以提供其网站上所有提交论文的复现报告。
从顶会到个人,复现努力一直进行
可复现性是科学领域长期关注的话题,更是机器学习社区的重点关注问题。为了解决论文可复现难题,从顶会到个人一直都在努力。
NeurIPS 组委会从 2019 年起就鼓励论文作者提交代码(非强制),目前成效显著。在 NeurIPS 2019 的最后提交阶段,有 75% 的被接收论文附带了代码。随后,NeuIPS 将代码提交从「鼓励」变成了「强烈建议」(仍不强制),还提供了提交代码的准则和模板。
2020 年底,机器学习资源网站 Papers with Code 宣布与论文预印本平台 arXiv 进行合作,论文作者在 arXiv 上上传论文时可以同步上传官方和社区代码。
此外,AAAI Fellow、加拿大计算机科学家 Joelle Pineau 教授创建了「机器学习可复现性调查表」,这个清单为如何使其他研究人员清楚并重现机器学习论文的描述、代码和数据提供了明确的指导原则。
网站地址:https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf
这些措施有助于解决论文可复现性问题,并进一步促进开放性科学研究的发展。
参考链接:https://paperswithcode.com/rc2020
如果觉得有用,就请分享到朋友圈吧!
点个在看 paper不断!
论文无法复现「真公开处刑」,PapersWithCode上线「论文复现报告」相关推荐
- 公开处刑:PapersWithCode上线“论文复现报告”,遏制耍流氓行为!
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 成功复现一篇论文到底有多难? 大概就像这样吧: 可太TM难了--相信这是大多数机器学习研究者都吐槽过的 ...
- 公开处刑:研究者自建Papers Without Code网站,张贴复现不了的论文
来源丨机器之心 编辑丨极市平台 导读 在 Papers 「Without」 Code 网站上,复现不了的论文可是要被公开处刑的,作者也可能面临「社会性死亡」. 「无法复现的论文都是耍流氓.」 二十几天 ...
- 公开处刑:复现不了就撤稿!
最近Reddit 用户「ContributionSecure14」在机器学习社区疯狂吐槽:「我花了一个星期尝试复现一篇论文,结果失败了.上网搜了一下才发现,也有其他人说这篇论文的结果无法复现.」 另一 ...
- 第一次,我们在人工神经网络中发现了「真」神经元
视学算法报道 转载自:机器之心 参与:杜伟.魔王 无论是字面上.符号上还是概念上的表达,这种神经元都会对相同的概念做出反应. OpenAI 的研究者们在人工神经网络 CLIP 上发现了「真」神经元,这 ...
- 120万公里「真」无人商用里程如何炼成?出租车物流车车车无人,香港乌鲁木齐城城自动...
贾浩楠 万博 发自 凹非寺 量子位 报道 | 公众号 QbitAI 全球率先实现无人车进入停机坪运营的机场,你可能想不到--乌鲁木齐国际机场. 新疆-20°严寒中,无人驾驶行李牵引车队穿梭在机场的机坪 ...
- 「真®全栈之路」Web前端开发的后端指南
前言 在若干次前的一场面试,面试官看我做过python爬虫/后端 的工作,顺带问了我些后端相关的问题:你觉得什么是后端? 送命题.当时脑瓦特了,答曰:逻辑处理和数据增删改查... 当场被怼得体无完肤, ...
- 70页论文,图灵奖得主Yoshua Bengio一作:「生成流网络」拓展深度学习领域
来源:机器学习研究组订阅 GFlowNet 会成为新的深度学习技术吗? 近日,一篇名为<GFlowNet Foundations>的论文引发了人们的关注,这是一篇图灵奖得主 Yoshua ...
- 4599 的 iPhone 11,拼多多如何从「真香」到「更香」
每个工作日的早高峰,北京五环外的西二旗,每小时都有 2.5 万人涌出地铁站,这让西二旗成为这座城市最忙碌的地铁站. 交通部门的数据显示,根据 2017 年典型工作日,IC 卡乘客早高峰前 20 位站间 ...
- 「真香系列」新物种首发亮相 聚划算爆款孵化玩法升级
从普通商品到优质好物,差的便是那一句"真香". 2022聚划算99划算节,聚划算首发「真香系列」,为消费者精选了一批价格香.品质香.服务香的「十三香」好物.不过,聚划算的" ...
最新文章
- 苹果向求职者抛出的8大难题
- SVM+二分类+多分类
- docker小技巧-清理未使用空间
- 批量镜像locator(比如表情模板)
- java内存分配与管理
- internetreadfile读取数据长度为0_Datax3.0的安装和基本使用
- Cube painting UVA - 253
- Springboot版本+ Spring Framework版本 + jdk版本 + Maven版本
- Java架构师除了必备的技术之外,这些技能也需必备?你们觉得呢?
- oracle数据库dblink创建语句_3场直播丨达梦DM8数据库安装部署初体验、新基建下的国产数据库应用和发展趋势、Oracle外部表创建与使用...
- SQL Server 2017 SELECT…INTO 创建的新表指定到文件组
- Markdown 文档生成 PDF
- 浏览器与输入法——用户入口的争夺
- mac整站下载工具wget
- 微信小程序对接海康威视摄像头
- CentOS7下部署Mantis详细步骤
- 知识工程重点知识介绍-1
- 密码框后的小眼睛怎么写?
- 微信订阅号python后台
- 五款最佳VMware vSphere免费管理工具