论文阅读-Detecting Deepfakes with Self-Blended Images （利用自混合图像检测深度伪造）

一、论文信息

论文信息：Detecting Deepfakes with Self-Blended Images

论文/Paper: http://arxiv.org/pdf/2204.08376

代码/Code: https://github.com/mapooon/SelfBlendedImages

作者团队：

会议：CVPR2022-Oral

二、动机与创新

动机

早期训练集的构造点是基于两种方案：对图片进行模糊处理以模拟生成图片的清晰度下降，以及合成两个图片来制造伪影，以便于学习。然而随着深度伪造技术的进步，清晰度逐渐上升，前者已经不再适用。而后者在低质量数据集上又难以检测伪影，鲁棒性较差。

创新

提出新的合成训练数据—自混合图像（SBIs）来检测深度伪造，其思想为:更通用和几乎不可能识别的假样本鼓励分类器学习通用且健壮的表示，不会过度适应特定于操作的伪影，泛化性更强。

三、主要工作

本文的主要工作Self-Blended Images (SBIs)分为两部分：STG和MG。

Source-Target Generator (STG) 通过一张图片，用简单的图像处理得到target image和source image。具体地说，对两张图片分别进行随机的图像处理，如RGB，亮度，HSV等值的偏移，作为颜色变换。以及下采样或锐化，作为频率变换。最后，为了模拟边界混合和landmark不匹配，对source image进行resize。
Mask Generator (MG) 通过target image和source image的landmarks，整合得到masks，以便混合。具体地说，MG检测input image的面部区域，通过凸包计算一个初始mask，之后随机改变mask的形状和blend比例以增加多样性。最后经过两次不同的高斯滤波进行平滑处理。
Blending

四、实验

骨干网络：EfficientNet-b4（ImageNet SOTA）
目标函数：交叉熵损失
实验结果

五、总结

优势

常规的blend方法往往会导致overfit，例如，一些混合伪影的交换并不规则，模型会因此表现得更趋向于检测到混合图像而非深度伪造图像。本文的核心目标是检测伪影，不管合成的是否是同一身份人脸，只需关注合成产生的伪影，同一身份人脸不同增强之后再合成可以更大程度地保留伪影的影响（显然，使用原图像得到的交换对往往是规则的）

限制

难以捕捉视频帧间时间不一致性。
对全图合成效果不佳（因为训练只关注人脸部分）。

论文阅读-Detecting Deepfakes with Self-Blended Images （利用自混合图像检测深度伪造）相关推荐

论文阅读笔记（三）——从老虎到熊猫:动物头部检测
论文阅读笔记(三)--从老虎到熊猫:动物头部检测论文简介论文中文翻译:<从老虎到熊猫:动物头部检测> 论文名称:<From Tiger to Panda: Animal Head ...
[论文阅读] (27) AAAI20 Order Matters: 基于图神经网络的二进制代码相似性检测（腾讯科恩实验室）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【论文阅读 | cryoET】Gum-Net：快速准确的3D Subtomo图像对齐和平均的无监督几何匹配
论文题目&作者 Gum-Net: Unsupervised Geometric Matching for Fast and Accurate 3D Subtomogram Image Alig ...
论文阅读：基于区块链的分布式软件定义车载网络一种深度q -学习方法
关键技术运用:许可区块链+软件定义的vanet+基于优先级体验重放的深度q学习传统的问题及文章解决方法问题1:缺乏基础设施和动态性方法:使用软件定义的vanet动态和安全地管理vanet. 问题 ...
Deformable DETR: DEFORMABLE TRANSFORMERSFOR END-TO-END OBJECT DETECTION（论文阅读）
Deformable DETR 是商汤Jifeng Dai 团队于2021年发表在ICLR 上的文章,是针对Detr 的改进. 论文:<DEFORMABLE DETR: DEFORMABLE T ...
Detecting Deepfakes with Self-Blended Images翻译
摘要在本文中,我们提出了一种称为自混合图像(SBI)的新型合成训练数据来检测深度伪造.SBI是通过从单个原始图像中混合伪造源图像和目标图像,再现常见的伪造伪迹(例如,混合边缘.源图像与目标图像之间的 ...
论文阅读-NOLANet多模态伪造检测
一.论文信息: 题目:Deepfake Video Detection Based on Spatial,Spectral, and Temporal Inconsistencies UsingMul ...
论文阅读：Exposing DeepFake Videos By Detecting FaceWarping Artifacts
论文阅读:Exposing DeepFake Videos By Detecting FaceWarping Artifacts 现在对于论文阅读还是比较头疼,很多翻译都很奇怪,还是要提高英语能力啊, ...
ECCV2018 | 论文阅读CornerNet: Detecting Objects as Paired Keypoints
CornerNet论文阅读--CornerNet: Detecting Objects as Paired Keypoints 文章目录 CornerNet论文阅读--CornerNet: Detec ...
YOLOv4论文阅读（附原文翻译）
YOLOv4论文阅读(附原文翻译) 论文阅读论文翻译 Abstract摘要 1.Introduction 引言 2.Related work相关工作 2.1.Object detection mod ...