CVPR 2021 | 中科大联合快手,提出人脸伪造检测新方法
视学算法发布
机器之心编辑部
来自中科大、快手的研究者针对人脸伪造,提出了基于单中心损失监督的频率感知鉴别特征学习框架,将度量学习和自适应频率特征学习应用于人脸伪造检测,实现SOTA性能。
一:背景和动机
随着基于自编码器和生成对抗网络的图像生成技术的快速发展,以deepfake为代表的人脸伪造技术在娱乐大众的同时,也带来巨大的安全隐患。与之对应的,人脸伪造检测也逐渐成为计算机视觉领域研究的热点。
目前的检测方法大多数将伪造检测任务转化为二分类任务来处理,使用softmax loss[1] 监督网络在自然和篡改人脸的混合数据集上训练。但是如图一所示,在softmax loss监督下学习到的特征本质上差异性不足,因为softmax loss没有明确的约束类内的紧凑性和类间的离散性。一些研究注意到了这个问题,尝试使用triplet loss提取差异性特征。但是,常规的度量学习方法通常无差别的约束特征类内的紧凑性,忽略不同类别类内分布的差异性。如图一所示,由于GAN指纹和其他一些独特的处理,不同伪造方法生成篡改人脸的特征分布不同,而自然人脸则共享着更多相似的特征。篡改人脸类内分布的多样性意味着在特征空间中聚合所有的篡改人脸是一件困难的事,这种优化上的困难导致了常规的度量学习方法应用到人脸伪造检测领域时通常无法取得理想的效果。
图一:特征分布示意图
为了解决这个问题,来自中科大、快手的研究者提出了一种新的单中心损失SCL (single-center loss)。如图一所示,SCL在约束自然人脸和篡改人脸类间的离散性的同时,仅聚合类内差异较小的自然人脸。此外,为了提高在低质量图像和视频中的检测效果,研究人员提出了一种完全由数据驱动的自适应频域特征提取模块。
论文地址:https://arxiv.org/pdf/2103.09096.pdf
二:方法介绍
本文方法的整体框架如图二所示。在一个基础网络中增加自适应频域特征生成模块AFFGM(Adaptive frequency features generation module)和特征融合模块。输入图像首先经过AFFGM和RGB分支分别提取空间域特征和频域特征,在融合模块中将两种特征进行融合,融合后的特征经过进一步特征提取之后,得到一维的特征矢量。整个网络在softmax loss和本文提出的SCL的联合监督下进行端到端训练。
图二:整体网络框架
自适应频域特征生成模块(AFFGM)
受到文献[2][3]的启发,本文提出了一种完全由数据驱动的自适应频域特征生成模块。如图二所示,AFFGM由数据预处理和自适应频域信息挖掘模块AFIMB(Adaptive frequency information mining block)组成。数据预处理的流程如图三所示。前两步类似jpeg压缩,将空间域图像变换到YCbCr空间,并在每个图像块上作DCT变换。DCT变换后所有图像块中同一频段的系数按照原图像块的位置组合成一个通道。最后把所有的通道组合在一起,正则化后作为AFIMB的输入。
预处理后的频域图像,保留了所有频段的信息,同时也保留了原图像的结构信息,这意味可以使用现有的神经网络直接从频域图像中提取特征。AFIMB结构由三个卷积块、两个线性层和一个最大池化层组成。不同于之前依赖人类先验提取特定频段信息的方法,本文提出的AFFGM完全以数据驱动的方法从不同的频段中提取差异性特征。
图三:数据预处理流程示意
单中心损失(SCL)
常规的度量学习方法并没有考虑不同类别类内分布的差异性,这导致他们应用到人脸伪造检测时,因为优化困难,而无法获得理想的效果。为了解决这个问题,该研究提出的SCL在约束自然人脸和篡改人脸类间的离散性的同时,仅聚合类内差异较小的自然人脸。在不增加优化难度的情况下,监督网络提取到更具差异性的特征。如图二所示,SCL将自然样本聚合在可更新的中心点附近,同时推动篡改样本远离中心点。SCL可以定义为:
其中和分别代表自然样本和篡改样本到中心点的欧式距离。由于欧式距离与特征的维度相关,所以为了便于设置超参,距离的阈值被设置为。与center loss类似,中心点C在每步迭代中不断更新。
三:实验结果
为了验证SCL损失,研究人员对各种损失进行了实验,包括centerloss、triplet loss等,结果如下所示:
表一:几种损失函数对比
图四:不同损失函数监督下特征的可视化。(a)softmax loss(b) triplet + softmaxloss(c)center + softmax loss(d)SCL + softmax loss。
为了研究不同结构的融合模块对性能的影响,所有实验都是在softmax loss监督下进行的。如下表所示:
表二:消融实验
该研究在FF++数据集上与之前的人脸伪造检测方法进行了比较。结果如下表所示:
表三:与其他方法对比
四:总结
在这篇文章中,基于自然人脸和篡改人脸类内分布的差异性,该研究提出了一种新的损失函数SCL。SCL在增大自然人脸和伪造人脸类间距离的同时,仅仅约束自然人脸类内的紧凑性。在不增大优化难度的情况下,监督网络学习到更具差异性的特征。
此外,为了增强低质量下检测效果,该研究提出了一种完全由数据驱动自适应频域特征提取方法。未来,该研究计划探索提升模型泛化能力和鲁棒性的方法以及SCL在其他领域应用。
参考文献:
[1] Liu W, Wen Y, Yu Z, et al. Large-margin softmaxloss for convolutional neural networks[C]//ICML. 2016, 2(3): 7.
[2] Gueguen L, Sergeev A, Kadlec B, et al. Fasterneural networks straight from jpeg[J]. Advances in Neural InformationProcessing Systems, 2018, 31: 3933-3944.
[3] Xu K, Qin M, Sun F, et al. Learning in thefrequency domain[C]//Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition. 2020: 1740-1749.
© THE END
转载请联系 视学算法 公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
点个在看 paper不断!
CVPR 2021 | 中科大联合快手,提出人脸伪造检测新方法相关推荐
- CVPR 2021 | 港科大旷视提出ACON:激活还是不激活?学习自定义激活函数
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 本文转载自:GiantPandaCV | 作者:zzk 简介 在该工作中,我们提出了一种名为ACON(Act ...
- 中国量子计算再突破!复旦联合中科大给出拓扑量子计算新方法
10月17日凌晨,复旦大学和中国科学技术大学中科院微观磁共振重点实验室合作研究的最新成果发表在<自然·物理>(Nature Physics)杂志上.该研究利用自主创新研发的随机绝热法,首次 ...
- ICCV2021 比MoCo更通用的对比学习范式,中科大MSRA提出对比学习新方法MaskCo
关注公众号,发现CV技术之美 今日分享 ICCV2021论文『Self-Supervised Visual Representations Learning by Contrastive Mask P ...
- 中科大2021年计算机复试分数,2021中科大考研复试分数线 中科大考研复试分数线2021...
2021中科大考研复试分数线,中国科学技术大学算得上是我国顶尖学府之一,外界对其评价极高,中科大确实实力非常强.那么2021中科大考研复试分数线如何呢?一起来看看吧! 2021中科大考研复试分数线 说 ...
- 概率分析2021中科大软件学院各分数段进复试概率
2021中科大软件学院 绝对是最内卷的一年,400分以上据可靠统计已经有419人.好在中科大还有较高单科划线的传统,总分不但要过复试线,单科线也需要过线才能顺利进入复试,除此之外中科大 ...
- 计算成本缩减100倍!港中文提出语义分割新方法:张量低秩重建|ECCV2020
原文链接:https://bbs.cvmart.net/articles/3099 专注计算机视觉前沿资讯和技术干货 微信公众号:极市平台 官网:https://www.cvmart.net/ --- ...
- DeepMind提出强化学习新方法,可实现人机合作
来源:AI前线 作者:Ben Dickson 译者:盖 策划:凌敏 本文来自 BDTechTalks 网站的"AI 研究论文评论"专栏.该专栏提供人工智能最新发现的系列解读文章. ...
- 字节跳动实习生提出实例分割新方法:性能超过何恺明Mask R-CNN
乾明 十三 发自 凹非寺 量子位 报道 | 公众号 QbitAI 框架更简单,但实现了比Mask R-CNN还好的性能. 这是字节跳动实习生提出的实例分割新方法,名为SOLO. 核心在于通过引入&qu ...
- 何恺明组又出神作!最新论文提出全景分割新方法
↑ 点击上方[计算机视觉联盟]关注我们 来源:arXiv 作者:Alexander Kirillov et. al. 编辑:肖琴 Facebook人工智能实验室(FAIR)何恺明等人团队在arXiv发 ...
最新文章
- python安装cvxpy
- 关于新冠肺炎的一切|回形针
- Activity应用场景解析
- Linux 操作系统原理 — 零拷贝技术
- python的整数类型有几种进制_(一)Python入门-2编程基本概念:08整数-不同进制-其他类型转换成整数...
- 数据分析与挖掘理论-常用算法对比(纯理论较枯燥)
- 'staticfiles' is not a registered tag library. Must be one of:
- c++MMMMM:oo
- php在苹果手机上传不了图片大小,ThinkPHP后台上传图片无默认尺寸解决方法
- 一段个性化stringgrid的代码
- 这二十个问题,可能是你技术人生中已经或即将遭遇的痛点,怎么解?
- linux 可道云_阿里云linux+kodexplorer可道云搭建私有云盘-阿里云开发者社区
- python 网页上显示数据_Python实战【第二节】在网页上显示信息
- word自动生成目录,设置从指定页码开始
- FFmpeg开发(1)从mp4中提取aac音频
- 大脚插件技能栏美化_魔兽大脚界面调整怎么用 魔兽世界大脚界面调整设置教程...
- 【TF-Slim使用】
- JavaWeb学习-动态代理-2-invoke()方法和动态代理Waiter类练习
- 74HC165基础篇(一)
- 2017前端精品面试文章总结