这位顶会领域主席的论文被自己的AI审稿系统拒绝了
今日,arXiv 上刚发布的一篇论文引起了极大的关注。该研究基于论文的视觉外观训练了一个分类器来预测一篇论文应该被接收或者拒绝。该论文作者为弗吉尼亚理工学院助理教授 Jia-Bin Huang,同时他也是 CVPR 2019、ICCV 2019 的领域主席(Area Chair,AC)。
这篇有趣的论文刚刚公开就在 Twitter 上引发热议。这篇文章表示,好的论文版面非常重要。该研究中仅基于论文视觉外观训练出的分类器可以拒绝 50% 的坏论文,只有 0.4% 的好论文没被接收。然而,作者把训练出的分类器应用到这篇论文本身时,该论文遭到了无情拒绝,且拒绝概率高达 97%。真是自作孽啊(大雾……
当然,网上评论中也存在质疑。有网友表示,「一篇论文该不该被接收要由视觉外观决定吗?」
在了解此论文之前,让我们先看下视频演示:
作者在 Github 上放出了这篇论文的数据集与预训练权重,感兴趣的同学可以查看 Github 项目:https://github.com/vt-vl-lab/paper-gestalt。
以下是对此论文的介绍:
同行评审是社区中的其他专家对一份学术工作进行的全面审查,是传播科学成果的关键一环。然而,顶会论文投稿量的破纪录增长和合格评审者数量不足之间的矛盾使得同行评审过程举步维艰(见图 1)。为了审查所有的投稿论文,大会组织者不得不扩充评审者团队,并不可避免地将一些资历不深的学生也包括进来 [3]。这可能导致,花了几个月或几年时间写论文的作者最后收到的是不合理、欠考虑或不公平的评审结果。
图 1:需求。过去几年,计算机视觉顶会论文数量激增,但合格的评审者数量增长却没有那么明显。
本文作者从两方面解决这一矛盾。首先,他使用往届大会的论文训练了一个深度卷积神经网络,该网络基于论文的视觉外观(即论文版面,paper gestalt [19])决定论文质量。其次,他还为论文作者提供了一些诊断工具,帮助其改进以后要提交的论文。该深度神经网络的训练数据是 2013 - 2017 年 ICCV/CVPR 大会和 workshop 论文数据,基于此神经网络的分类器在 CVPR 2018 论文上的分类准确率可以达到 92%。这一模型可以有效拒绝 50% 的糟糕论文,错判的好论文仅占 0.4%。因此,该系统可以作为一系列论文评审过程的预过滤器。使用收集的计算机视觉论文版面(CVPG)数据集可以:1)可视化好/坏论文的判别区域;2)将一篇糟糕的论文直接转换成一篇好论文。这些工具可以告诉作者版面的哪些地方有待改进,以及如何改进。
论文:Deep Paper Gestalt
论文地址:https://arxiv.org/pdf/1812.08775.pdf
摘要:近年来,计算机视觉会议的接收论文数量激增,但有能力的评审数量却严重不足,这种矛盾给现在的同行评审制度造成了很大的负担。在本文中,我们学习了一个分类器来预测论文是否应被接受,判断依据仅仅是论文的视觉外观(即论文的版面)。实验结果显示,我们的分类器可以有效地拒绝 50% 的糟糕论文,错判的好论文仅为 0.4%,大大降低了审稿人的工作负担。我们还提供了一些工具,利用它们向作者提供建议,作者可据此改善自己论文的格式。
学习识别好/坏论文
该研究利用深度卷积神经网络(ConvNet),仅基于论文的视觉外观来学习判别表征。
数据构建
数据源:研究者从计算机视觉顶会的接收论文列表中收集正样本(好的论文)。具体而言,研究者收集的是计算机视觉基金会(Computer Vision Foundation,CVF)主办的近期会议接收论文的 Open Access 版本,包括 2013 到 2018 期间的六届 CVPR 和三届 ICCV。
具体到数据获取和预处理阶段,研究者首先从 CVF Open Access 网站上抓取正负样本,然后为方便分类过滤掉论文不足 7 页的论文,仅保留论文页数 ≥ 7 的论文。接下来使用 pdf2image 工具将下载的论文 PDF 文件转换成图像。最后进行数据预处理,移除论文首页上方的页眉,以防止数据泄露,避免分类器过度注意页眉区域而忽略论文的整体视觉外观。
表 1:计算机视觉论文版面(Computer Vision Paper Gestalt,CVPG)数据集。
图 3:CVPG 数据集中的随机样本示例。从上图可见,workshop 论文和大会论文在论文整体版面设计上是有区别的。该研究的目的是利用深度卷积神经网络学习这些模式的表征。
实验设置
本研究使用 CVPR 2018 的正负样本作为测试集,2013-2017 年的大会/workshop 论文作为训练集,使用 ResNet-18(在 ImageNet 数据集上进行预训练)作为分类网络。
研究者将 ImageNet 数据集的 1000 个类别分类换成两个输出节点(好论文/坏论文)。然后运用迁移学习技术,使用随机梯度下降对该预训练模型进行微调以适应 CVPG 数据集,动量设为 0.9,训练 epoch 设为 50,初始学习率设为 0.001,然后每 10 个 epoch 学习率衰减 0.1。为了适应类别不均衡的训练数据,研究者使用加权交叉熵损失,并将训练数据和测试数据中所有图像的大小调整为 224 × 224 像素。训练过程中未使用标准的数据增强技术(如随机剪裁、水平翻转或光度变换),以保持整篇论文的原始视觉内容和排版。该网络在 NVIDIA Titan V100 GPU 上训练,训练时间不到 30 分钟。
实验结果
图 4:训练出的论文分类器的性能特征。x 轴表示假正率(坏论文被误判为好论文的比例);y 轴表示假负率(好论文被误判为坏论文的比例)。
图 5:坏论文的特定类别判别区域。(上)论文不足 8 页是坏论文的特征之一。(下)生成的热图集中在第一页的右上角。这表明,前两页缺乏示意图可能导致论文更难懂。
图 6:好论文的特定类别判别区域。由类激活映射(class activation mapping,CAM)生成的热图突出了好论文的特定区域,例如第一页解释核心观点的信息图、展示实验验证细节的图表、令人印象深刻的数学公式,以及来自基准数据集的彩色图像阵列。
图 7:本论文的分类结果。研究者把训练出的分类器应用到本论文,结果网络以极高的概率(超过 97%)无情地拒绝了此论文,表明其不需要同行评审。
优化论文版面
除了对论文进行分类,强调判别区域,该研究还提供更多的建议,帮助论文作者改进所提交论文的版面。
图 8:随机生成的好论文样本。这些随机样本捕捉到了好论文的版面模式:论文开头有解释性质的图、论文中有彩色图像,以及文本、数学公式、图表的均衡布局。
图 9:使用 CycleGAN 进行论文增强。训练出的 bad-to-good paper 模型可用做论文修改辅助工具,为作者提供建议。典型的建议包括在前面增加信息图、把图做得色彩更加丰富、最后一页写满,使其看起来是一篇好论文。上图是坏论文逐渐调整为好论文的动画演示(最好使用 Adobe Acrobat Reader 查看)。
这位顶会领域主席的论文被自己的AI审稿系统拒绝了相关推荐
- 用外观判断论文好坏?这位顶会领域主席的论文被自己的AI审稿系统拒绝了
机器之心报道 机器之心编辑部 今日,arXiv 上刚发布的一篇论文引起了极大的关注.该研究基于论文的视觉外观训练了一个分类器来预测一篇论文应该被接收或者拒绝.该论文作者为弗吉尼亚理工学院助理教授 Ji ...
- 自然语言处理顶会COLING 2020最佳论文等三项大奖出炉 | AI日报
自然语言处理顶会COLING 2020最佳论文等三项大奖出炉 12月8日至13日,第28届国际计算语言学会议(COLING 2020)在线上正式举行. 计算语言学国际会议COLING 2020(是计算 ...
- 中国学霸本科生提出AI新算法:速度比肩Adam,性能媲美SGD,ICLR领域主席赞不绝口
晓查 乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI 两位学霸本科生,一位来自北大,一位来自浙大. 他们在实习期间,研究出一种新的AI算法,相关论文已经被人工智能顶级会议ICLR 201 ...
- 超强YOLOP!CVPR 2022领域主席团队开源!全景感知多任务SOTA!
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:Sophia知乎 https://zhuanlan.zhihu.com/p/406018656 AI博士笔记系 ...
- adam算法效果差原因_信电学院本科生提出AI新算法:速度比肩Adam,性能媲美SGD,ICLR领域主席赞不绝口...
晓查 乾明 发自 凹非寺 量子位 报道 | 转自公众号 QbitAI 两位学霸本科生,一位来自浙大,一位来自北大. 他们在实习期间,研究出一种新的AI算法,相关论文已经被人工智能顶级会议ICLR 2 ...
- 中国学霸本科生提出AI新算法:速度比肩Adam,性能媲美SGD,ICLR领域主席赞不绝口...
晓查 乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI 两位学霸本科生,一位来自北大,一位来自浙大. 他们在实习期间,研究出一种新的AI算法,相关论文已经被人工智能顶级会议ICLR 201 ...
- 机器学题平台PAI论文入选国际顶会KDD-构建端到端的大规模AI工程能力
一.顶会概览 KDD 2021上,阿里云机器学习平台PAI参与的论文入选,大规模可扩展文本分类框架MeLL.大规模推荐模型推理系统FleetRec.自动特征生成的方法FIVES分别被录取. KDD大会 ...
- NeurIPS 2020 大变动,领域主席可拒稿20%,作者即评审,布局远程会议!
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 第三十四届 NeurIPS(Conference and Workshop on ...
- 科大讯飞独家Founding赞助国际语音顶会,14篇论文被收录
(原标题:科大讯飞独家Founding赞助国际语音顶会,14篇论文被收录) 今年是国际语音顶会INTERSPEECH 第二次来到中国. INTERSPEECH 是国际语音通讯协会(Internatio ...
最新文章
- java netty swap高_Netty 超时机制及心跳程序实现
- lob移表空间 oracle_Oracle数据库(1)Oracle体系结构概述(一)
- Hbase Import导入数据异常处理-RetriesExhaustedWithDetailsException
- html导航栏点击不能跳转,无法单击导航栏中的链接CSS HTML
- Stack Overflow: The Architecture - 2016 Edition(Translation)
- s3 java_java – 我们可以迭代Amazon S3中的完整对象集
- 报名截止仅剩5天!50万冠军大奖,错过再等一年!
- Flask框架(一)
- 专家看台:阿里软件研发总监叶伟:如何处理技术和需求的矛盾
- 苹果CMSv10系统标签,仿站必备
- 计算机重做系统 d盘,重装系统后c盘变成d盘怎么办|pe装系统c盘变d盘解决方法
- 网络高清监控摄像头如何安装(图文方法+模拟像机)
- 用Python实现小黑屋游戏
- bps是什么单位?是什么意思
- 数据挖掘机器学习[七]---2021研究生数学建模B题空气质量预报二次建模求解过程:基于Stacking机器学习混合模型的空气质量预测{含码源+pdf文章}
- Java制作简单小画板
- 钟情于物流企业信息化
- TensorFlow2.0选择GPU或CPU训练
- php圆的周长_php面向对象编程练习:计算矩形、三角形、圆形的周长和面积
- html+css+JavaScript实现导航栏
热门文章
- 第 7 章 MybatisPlus 插件
- 0-1 背包实际应用
- inotify+rsync实时双向同步文件
- python descibe_Pandas python .describe()格式化/输出
- .net 遍历数组找重复值写入一个新数组_第二轮 Python 刷题笔记一:数组
- 苹果手机其他占内存很大去哪删除_Iphone内存总是不够用?原来这才是正确清理垃圾的方法,长见识了...
- mysql6.0_MySQL6.0安装
- c++调试窗口不见了_Sublime Text配置GDB调试环境
- 1345.跳跃游戏IV-LeetCode
- php 去掉后导字符,PHP去除字符串最后一个字符的三种方法实例