鱼羊 晓查 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

今年CVPR共有1200多篇论文被接收，官方评出了最佳论文，民间则评出了最差论文。

2019年CVPR有哪些糟糕的论文?

这个问题不仅在知乎上火了，甚至被出口到了国外论坛ML板块。

顶会也有水论文？答案是Yes。不仅有水的，甚至有水得很夸张的。

号称进步巨大，实则不work；被NIPS、AAAI和ICLR一直拒的论文中了Oral；化身剪刀手拼接已发表过的文章……这也就不说什么了，但抄袭已发表论文的Idea，做低baseline这也过分了吧？

而这个问题也引发了对学术圈学术氛围的质疑，“打招呼”让双盲同行评审成了空谈？追求短期反馈疯狂水论文成常态？

水论文这件事，实在引人深思。

最差论文提名

最差论文没有统一的标准，自然也就很难达成一致，知乎网友分别从6个不同角度提出了质疑。

下面开始知乎网友自发组织的worst paper“颁奖典礼”。

质疑1：号称进步巨大，效果平平无奇。

首先是位置最高的回答，答案提供者是一名算法工程师。

他自己也在这个领域研究类似的问题，也做出了一些小修小补，但觉得意义不大，所以就没发论文。

但是有人把结果发到了CVPR上，而且这篇研究人脸识别的论文还号称进步巨大，但实际效果如何呢？请数据说话：

提升效果并不明显。“真的、真的不work！”

但是他还是给了一些正面评价：

不过还是要表扬一下第二篇论文，里面还提出了一个Noise Resistance Softmax loss，这个损失的形式很复杂，但思想值得一看，应该能改进出一个更简单的形式。

原回答链接：

https://www.zhihu.com/question/327139341/answer/712075929

质疑2：和前年论文高度相似，审稿人怎么了？

直接把别人的成果算成是自己的，连摘要都高度相似。

这是CVPR 2019文章的摘要：

这是ICCV 2017文章的摘要：

匿名网友向作者提出疑问三连：

虽然这篇文章是不点名批评，但是稍微搜索一下还是能知道作者是谁的，算是给别人留了点面子。

质疑3：超不过对手，那就拉低对手。

自己论文效果不好怎么办，调低baseline啊！

比如这篇文章里Mask R-CNN的baseline分数只有不到70分，而另一篇文章在同样的两个数据集上做出的baseline分数超过了80分。

等于作者将baseline整整做低了十几分，终于让自己的结果“超越”了Mask R-CNN。

答案提供者也忍不住吐槽：

现在发文章不容易啊，不仅自己的实验结果需要造假，还要把那么经典的方法踩一踩，敢问作者你的良心不会痛吗？？

质疑4：被其他顶会一直拒的论文中了Oral？

有知乎网友表示，会议培养新人也没什么，但被NIPS，AAAI，ICLR这些顶会一直拒的论文一下中了CVPR Oral也太玄学了吧？这也太浪费读者时间了。

这位网友举了伯克利的这篇 《Accel: A Corrective Fusion Network for Efficient Semantic Segmentation on Video》为例子。这是一篇有关语义分割的论文，但作者显然是该领域的新手小白。

看这个baseline，未免有点低吧？

再看文章的第八页，结合文章的内容，不禁让人怀疑这是在填位置……

方法本身也没有什么创新性，中个Workshop也就算了，作为一篇Oral实在令人很失望……

还有网友补充，这篇论文的某个strong accept的意见里weakness部分只写了一个句号……emmm……审稿人真的有在好好看文章吗？

质疑5：发过的论文拼一拼，就又能中顶会啦？

听说拼一拼别人的好音乐，就能成为火遍全网的“原创音乐人”。那么在学术界，剪刀手也一样有春天？

知乎网友很气愤：拼凑的论文比灌水更恶劣，水论文还能提供一点新知识呢。

被指控的论文是这一篇：《Self-Supervised Representation Learning by Rotation Feature Decoupling》。

网友指出，这就是把ICLR18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》和CVRP18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》这两篇论文里提出来的自监督学习方法拼了一下，水成这样真的大丈夫？

↓↓↓
ICLR18这篇旋转预测方法的核心是，将图像旋转90度的随机倍数，如果AI不知道图像中描绘的对象的概念，就无法识别旋转后的图像。

↓↓↓
CVPR18这篇实例判别将图像编码为特征向量，投影到了128维空间并进行L2归一化处理。

↓↓↓
至于这篇论文，emmm……只看图，不想说话……

质疑6：“打招呼”让双盲审查成空谈。

还有网友提出了更严重的指控，论文作者给评审“打招呼”了！

CVPR采用的是双盲审查，但事实上审稿人完全可以通过arXiv找到作者。有知乎匿名网友和reddit网友表示“招呼”打到了自己头上，双盲审查真的成了空谈？

这就已经涉及学术道德了啊。

问题出在哪

首先，写论文的人出现了问题。

现在国内的高校太过于强调论文数量、影响因子，舍本逐末，“完全背离了科研工作的本意”。

教授有来自学校考评的压力、研究生有毕业的压力，“追求短期反馈绝对是违背科研规律的”。

其次，论文有问题，审稿人却不能发现，有失察之过。

1、论文不开放代码，同行无法复现。

还记得韩春雨事件吗？无论是物理、化学还是生物领域，论文中的实验条件都应该交代清楚，让别人检验你的结果能否复现。如果不能复现就说明文章是存在一些问题的。

但是在计算机领域，还缺乏这种机制。AI界知名女学者Anima Anandkumar曾建议，投往学术会议的论文需要强制要求提供代码，供其他同行复现结果。她的倡议正在被越来越多的同行接受。

2、论文数量逐年增长，审稿人严重不足。

CVPR投稿数量激增，今年就有5000多篇，比去年增加50%以上。

审稿人中有经验有能力的人手严重不足，但是每个人的工作量就那么多，不可能超负荷运作，只能去找一些水平不那么高的审稿人了。

3、审稿的双盲制度正在被破坏。

一方面，审稿人可以通过其他渠道提前知道作者的身份，因为在开放平台Arxiv上提交论文已经是一种常态。

另一方面，作者可以有途径得知审稿人身份，甚至“打招呼”让论文通过审核。比如前一段时间自杀博士Chen Huixiang就说自己的导师认识多个审稿人，才让自己漏洞百出的论文能够中顶会。

不同的声音

顶会灌水令人不爽，这也是关于糟糕论文的问题会引起热议的原因。但在大量的吐槽之中，也有这样的声音：要喷应该喷灌水的风气，而不是喷paper本身。

南大的周志华教授就曾经表示：论文的价值就是那点新花火，有毛病没关系。

MXNet创始人李沐也指出：学术会议除了交流学术成果外，还有一个重要功能是培养新人。对于看上去像灌水的“小白文”不必太苛刻。

CUHK助理教授周博磊则提出了这样的建议：读别人文章时放平心态，与其纠结为什么这么水的论文也能中，不如多去发现别人论文里的闪光点。

好论文应该是什么样

大家都希望读到好的论文，而科研人员们也不愿看到自己认认真真做出的论文跟水货们为伍，那么到底什么样的论文才能算是好论文呢？

知乎有一个600+赞的回答说的很好，还被国外网友转到了Reddit上：

提出新思想新方法，沉淀下来找好问题做好问题，不要一味地追求短期反馈。这样的科研工作会更有意义，优秀的工作何愁好论文？

君不见有人埋头研究线虫8年，才终于发表了第一篇一作文章，这一发就是Nature封面。

知乎原文链接：

https://www.zhihu.com/question/327139341

— 完 —

AI社群 | 与优秀的人交流

AI内参 | 关注行业发展

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !