点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

素材源于：知乎、arXiv、Twitter   |    编辑：Amusi

再次申明

1. 这是一个非常严肃的话题，希望大家理性吃瓜

2. 本文将尽可能客观介绍这个"恶劣事件"

前言

"如何看待 ICCV21 接收的某港科大学生为一作的论文被指抄袭 ICML21 发表的论文?"该事件发酵有段时间了，想了解前因的同学可以看这篇文章：如何看待ICCV 2021接收论文被指抄袭?

https://www.zhihu.com/question/480075870

目前这篇ICCV 论文的一作、二作、一作导师已经出面回应，本文将更新最新的事件进展（很多人只知道"抄袭"，但不知道后续的发展和处理）。特别是2021年8月20日香港科技大学官网发布如下通知：HKUST attaches great importance to academic integrity

CVPR 2020论文被举报抄袭

在m-RevNet（ICCV 2021论文）被爆抄袭后，有人举报论文一作Duo Li的CVPR 2020论文也存在抄袭，部分证据如下：

作者：匿名用户
https://www.zhihu.com/question/480075870/answer/2064933570

看了这两篇论文，第一感是不可思议，非常震惊，再看了Duo Li那篇受质疑的CVPR 2020，更加劲爆。

经过我数小时的阅读，总结如下：

论文A：Deeply-supervised Knowledge Synergy，Dawei Sun, Anbang Yao, Aojun Zhou, Hao Zhao，CVPR 2019，19年6月公布于arxiv

论文B：Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives，Duo Li, Qifeng Chen，CVPR 2020，20年3月公布于arxiv

论文B没有引用论文A。

单从论文名上看，论文A是“知识协同的深度监督”，论文B是“面向一致优化目标的动态分层模仿”，乍一看，是两篇论文，但是！论文B是论文A的高级英文解读版！

其通篇向人们展示了如何包装出一篇顶会论文！实在是触目惊心，看得我头皮发麻。

先介绍一下论文A，这篇论文写的非常好，通俗易懂，基本上搞AI的只要了解图像分类就能明白它的原理，门槛不高。

论文A的故事是现有的分类模型，大多采用backbone CNN最后softmax得到概率输出，再与GT计算loss。如下图的(a)所示：

而图(b)呢，则是前人尝试的把中间层也传入一些额外层，再经过softmax，最后同样与GT算CE loss。

图(a)的loss的计算公式表达如下：

图(b)的loss计算公式为：

这里不考虑正则化项，因为与论文idea无关。

于是这样的训练方式，可以帮助浅层更好的学习，不然的话浅层就会因为距离最后一层太远了得不到有效的监督，所以这有助于缓解梯度消失的问题。

那么论文A认为，所有这些中间层包括最后一层，它们之间的信息交互没有利用上，于是提出干脆让它们两两之间互相拟合(类似于知识蒸馏中的让一个概率输出去拟合另一个概率输出嘛)。就有了下图的形式：

各个箭头就表示让被指向的终点去拟合起始点，也是通过CE loss，只不过这里的优化目标不再是0，1，而是浮点数(也叫soft target)。于是呢就有了上图的三种优化方式，从上到下，从下到上，以及双向。于是就添加了一个synergy loss：

我们可以通过调控集合B，想让哪两层之间拟合就让哪两层之间拟合，单向的亦或者双向的。

这就是论文A的DKS (Deeply-supervised Knowledge Synergy)的思想，总体框架如下图所示

当然了，论文A也指出，这些额外层的结构设计对最终性能至关重要，于是对额外层的结构统一设置为residual block

接下来，让我们来看看Duo Li等人的CVPR 2020论文B。

结构上来看，是一模一样的，均为让所有层的概率输出两两互相拟合，唯一的区别是，他将CE loss更改为KL loss。论文A中有一段说明了其DKS与知识蒸馏的不同，DKS是在同一个模型的内部不同层之间互相拟合，而知识蒸馏则是学生-教师之间互相拟合。那么显然在知识蒸馏中使用KL loss拟合概率输出是很常见的，所以论文B巧妙地更改为了KL loss。并且论文B将这样的idea取名为Hierarchical Mimicking (分层模仿)，其中mimick是知识蒸馏里面特征图模仿的常用术语。

其实仔细看两篇论文的Fig 1，也是能明显看到，两篇论文的概率分布长得一模一样，ctrl+c，ctrl+v

暂且容忍这点小细节，我们主要来看他的idea，首先论文B也描述了前人的添加中间层辅助loss的方法

我们再次容忍他更换字母，因为他叙述的毕竟是前人已有的工作。但请注意，以上雷同都只是Sec 3.1，介绍深度学习的框架和前人的添加中间层辅助监督的方法，算不上抄袭。但是Sec 3.2就是提出各自的方法了。

对于论文A提出的DKS，论文B重述为DHM (Dynamic Hierarchical Mimicking) :

显然，我们看到论文B的DHM方法就是论文A的DKS方法，只是把公式复杂化了，显得有对比性，原创性，更加高大上，也更加具有迷惑性。并且额外层的结构设计也是Residual block

论文B相比于论文A的区别在于：

1. 替换CE loss为KL loss。

2. 中间层以随机的方式丢弃，不参与知识传输。但这只占了一句话。整个DHM占了Sec 3.2几乎所有的篇幅，紧接着就是experiment章节。

接下来看看两文的实验部分。

首先是CIFAR-100的实验，注意下面的DS(左表)和DSL(右表)是一样的，都是Deep-Supervised Learning，

可以看到，就连网络结构的选取也是大面积重合，不同的结构完全有时间训练。

接着是ImageNet，注意论文B称之为 ILSVRC 2012

可以看到，论文B多做了一个ResNet-101的实验。

Ablation study论文B有所选取，选择性地做了

这里论文A用了字母C，论文B用字母B，下标是层序号，对于论文A，1是最深层，4是最浅层。而对于论文B，0是最深层，3是最浅层。

论文A得出的第一个结论：比起只用最深层C1的监督，搭配上任何一个中间层效果都更优，论文B同理。

第二个结论：两篇论文同时得出，搭配两个中间层最优，因此论文A声称“we choose to add C2 and C3 for all experiments on the ImageNet classification dataset.”而论文B声称“Hence we adopt the double-branch model in our main experiments...”也即二者均采取添加两个中间层的做法。

第三个结论：当搭配的中间层过多了，会导致性能下降，论文B同理。见上图两表的最后一行。

接下来，为了探究DKS的方法是否能够改善中间层的分类性能，论文A让中间层直接单独训练分类，相当于去掉了更深层的模型，用上DKS表示将最深层的知识传输到该中间层。

表格说法不同，但做的是同样的探究实验。

更可笑的是下一个实验，为探究自己的方法对Noisy data是否有效，论文A把一定比例的GT label随机替换成错误标签。这在论文B中被称为Corrupt Data。玩文字游戏是吧。

接下来，为了增强论文的理论性，使之看起来更加专业、高大上、具有迷惑性，论文B仿照了论文A的附录1。给出了理论性证明。该命题的核心观点是：本文方法之所以有效，是因为这种层正则化技术，会惩罚两个分支关于他们共享的中间层特征图梯度之间的不一致。这在论文B中被称为“Implicit Penalty on Inconsistent Gradients”，即隐式惩罚梯度的不一致。

种种以上迹象，把论文A的章节挪到附录，或者把论文A的附录描述移到正文，不得不说论文B的作者为了产出这篇高质量顶会复刻文，可谓是煞费苦心！工作量巨大！如果一个人来做，给我一个月我是做不下来。所以对本次ICML21的高仿，当然一方面是这次模仿地糙了些，追求速度，所以破绽更容易看。另一方面也是因为有了经验，所以复刻起来更快。

抄袭没有那么简单的，也是项技术活。

首先必须在arxiv上筛选大量属于我领域的且开源的论文，我要判断出其idea的novelty，实验的规范性，图表的美观性，值不值得我抄袭。

接着我找准了猎物，开始了模仿，玩起了语言艺术。图必须重画，必须精美包装，调色彩空间，调scale，调标注。更要新图，将猎物论文的idea用新图阐述一遍。

实验我当然也不能全部模仿，对猎物论文中涉及的实验，我要适当选取，观察其涨点幅度与规律。适当添加一些新实验结果(我也没必要去做)，有着相似的涨点幅度。能复现的论文一切都好说，先复现一两个结果，submit了论文，实验慢慢做，反正最后就算开源也不用与论文结果一样，我可以声称是retraining的结果。也不用怕达不到效果，因为猎物论文给了我们理论和实验支撑，我们只管复现即可。

添加曲线图，即把一些评估指标关于某个参数的散点图曲线化。留有余力则尝试跑其开源代码，获取loss曲线，评估曲线，添加随机因子，缩放坐标区间，调整曲线粗细颜色。

公式重述化，等价化，符号变化，命题适当选取。这里很佩服敢抄袭数学证明的，就我这个有数学背景的人，都觉得一晚上反复理解他们的公式非常辛苦，更别说他们要照猫画虎，哦不，其实应该说照虎画猫(尊重一下被抄袭论文，画猫也是有难度的哈哈)。

查询引文资料，获取相关描述，寻找未出现语句，更改后加入。把related work的相关片段部分重调至introduction以更好地重述一个story。

私以为一个月内搞出一篇高质量复刻文还是非常困难与时间紧迫的，基本上要天天肝，同时应付rebuttal也是一门技术活。

最后我们再来看一下本问主题论文，是有关如何避免ResNet的内存成本随网络深度线性增加的问题，并且其数学工具用到了Neural ODE(神经常微分方程)。并且从猎物论文的附录我们可以看到大量的数学公式推导和理论证明，说明该文数学理论性较强，正如作者所说该工作耗费了他们一年的时间。

从Duo Li的猎物选取来看，他比较倾向于选择自己相关领域的，看上去solid的，刚发布arxiv的论文。通常这样的论文复刻完后因为比较solid，投CV顶会容易中，另一方面有可能自己中了，而猎物论文因为投理论性强的顶会没中，那自己就赚大了。

现在再来看猎物论文作者的背景，一作是小白，尚不清楚背景。二作是法国国家科学中心博士后，具有应用数学硕士的教育背景，目前主要研究神经网络优化特性和理论特性。三作主要研究理论机器学习，最优传输，微分方程等。上述二人发表的论文大多为NIPS，ICML等理论性较强的机器学习顶会。

再来看m-RevNet作者阵容，一作清华自动化本科，港科技计算机研二，二作南开计算机博士，二人研究的方向为计算机视觉，机器学习，网络优化。从其近几年发表的论文来看，多为分割，检测，网络结构更改与优化等相关，发表的论文也集中在CV会议上。由此基本可判断数学背景不高，所做的工作数学理论性不强。当然他要是能保证一边每年发表三篇CV顶会的同时，还一边恶补各种数学理论知识，那真的是神。所以到底工作是谁做的，大家心中自有定数。

Duo Li（论文一作）承认抄袭

2021年8月19日 Duol Li 在知乎上承认抄袭，郑重道歉，上述ICCV2021和CVPR2020两篇论文抄袭。

作者：李铎
https://www.zhihu.com/question/480075870/answer/2065820430

因为我的学术不端行为，在此我向大家郑重道歉。我在ICCV2021和CVPR2020两篇论文中存在抄袭行为。对于在此事件中涉及到的论文合作者们表示最诚挚的歉意，他们并不知情。非常悔恨因为一时急功近利铸成大错，也给我的导师以及学校带来了无妄之灾。事已至此，我的内心极度的自责与羞愧，我今后一定会从中吸取教训，严格规范自己的行为。

最后，衷心地感谢在科研道路上以及生活中帮助过我的师长、亲人朋友们，我辜负了你们的期望，对不起！我必将痛定思过，做真诚的自己。

Duo Li 导师道歉并将撤稿涉事的CVPR 2020论文

作者：陈启峰
https://www.zhihu.com/question/480075870/answer/2064860328

2021年8月16日下午，我收到了关于我硕士生李铎的ICCV 2021论文m-RevNet: Deep Reversible Neural Networks with Momentum（于2021年3月17日投稿）存在学术不端问题的质疑。具体来说，这篇文章与Google发表于ICML 2021年的论文Momentum Residual Neural Networks （网址：https://arxiv.org/abs/2108.05862） 存在多处雷同。这篇论文首次提交到arXiv的日期是2021年2月15日，正式发表于2021年7月份举行的ICML会议上。为了回应公众关切，在此做出一下澄清：

1. 对于李铎相关论文涉嫌严重学术不端，作为导师的我有不可推卸的督导不严的责任。在此，我向大家诚挚地道歉。

2. 由于该论文属于李铎在疫情期间不在香港期间所作的工作，我并没有参与，也没有作为共同作者。下午收到相关信息后，我第一时间联系了该论文以及其他几篇相关论文涉及的第三方，并且跟大家核实记录。在大量的证据面前，大家都不太相信李铎声称的只是巧合的说法。在前期合作中，其他几个相关单位主要是帮助对实验室方案和论文写作提出修改意见。我对于给几个第三方合作者造成的困扰深表遗憾。

3. 我深刻地意识到在指导研究生的过程中存在的不够严谨的情况。作为导师，不光是没有参与的论文不作为共同作者。也应该对学生进行有效的学术诚信培养，对即使是未跟导师合作的论文也符合学术规范。

4. 我们正在深入调查包括其他的论文在内的李铎的工作。在调查之后严肃处理相关问题，于近日公布相关处理措施。

5. 关于CVPR 2020论文Dynamic Hierarchical Mimicking的说明。该论文可以追溯到2019年3月，李铎曾把该存在抄袭的论文投稿至ICCV 2019（我不是ICCV投稿的合作者也并不知情)。2019年9月他入学港科大后想把该论文投到CVPR 2020。当时，我主要给论文提了一些建议，很不幸没有发现CVPR 2019的Deeply-supervised Knowledge Synergy。我一直没有发觉该论文存在抄袭，直到最近在知乎上有人指出这两篇论文。对于我的疏忽与不够严谨，深感抱歉和羞愧！将会向CVPR PC说明情况、要求撤稿。

香港科技大学展开调查

2021年8月20日香港科技大学官网发布如下通知：HKUST attaches great importance to academic integrity

就香港科技大學(科大)成員涉嫌抄襲論文事件，大學已按程序就事件展開調查。科大十分重視學術誠信，並有就學術誠信訂立指引，期望所有成員恪守相關規則。如有任何違反，大學會在調查後視乎情況作出明確的懲處。

来源链接：

https://pg.usthk.cn/current-students/about-fytgs/news/detail/HKUST-attaches-great-importance-to-academic-integrity

几点看法

1. 希望论文一作Duo Li（或者Duo Li导师）尽快在reddit、Twitter上进行回应。

2021年8月15日，【ICML 2021】Momentum Residual Neural Networks的二作在Twitter上曝光了B论文抄袭A论文的事情。然而Amusi发现，截止目前2021年8月21日，仍没有论文相关作者在下面做出回应！

这个事件在知乎上讨论的很"火热"，但在外网也很"火热"，而且本身就是外网先讨论的，不能只在国内平台回应吧。以至于我看该twitter评论下面很多人自发贴上知乎的讨论链接，难道这个还要网友自发帮忙，而且还要外国人翻译成中文来看么？

翻了很久的评论，没有看到论文相关人员做出回应，希望尽快在外网回应吧（如果已经回应，还劳告知，谢谢）。

https://twitter.com/PierreAblin/status/1426899071495819265

2. 尊重科研、尊重他人和工作、也要尊重自己。

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF

重磅！Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看