论文：Representative Forgery Mining for Fake Face Detection

Tags: 注意力机制, 神经网络, 视频检测
年份: 21年cvpr
论文地址：https://arxiv.org/abs/2104.06609
代码：https://github.com/crywang/RFM

摘要

提出了一个基于注意力的数据增强框架来指导检测器细化和扩大其注意力。我们的方法跟踪和遮挡面部Top-N敏感区域，鼓励检测器深入挖掘之前忽略的区域，以获得更有代表性的伪造结果。

介绍

人脸特征点检测（vanilla CNN）倾向于从脸部的有限区域内检测，而人类倾向于整个面部。

现在三个方向:

a)通过提取由操作技术缺陷产生的数字指纹，对cnn生成的面部图像实现了先进的泛化性能;

b)部分作品将人脸划分为多个patch并进行独立检测，强制优化了探测器对假脸的感知场。

c)利用精心设计的训练数据集，利用同源真假人脸之间的差异来指导检测器学习假人脸上的伪造信息，从而进一步实现伪造可视化。

方法

基于注意力的数据增强方法：代表伪造挖掘(RFM)，通过在训练过程中精炼训练数据来解决有限注意力问题。

包括两个步骤:

1)利用检测器的梯度生成图像级的伪造注意图(FAM)，可以精确定位面部的敏感区域;

2)利用可疑伪造消除(Suspicious Forgery erase, SFE)有意遮挡面部的Top-N敏感区域。

该方法通过将检测器的注意力从过度敏感的面部区域解耦，实现了具有先进水平的检测性能，并显著保持了对仅包含少量技术伪造的人脸的检测性能。

RFM过程：

分为三个部分。首先(在步骤1、2中)，我们为单个小批的每个原始图像生成FAM。然后(在步骤3和步骤4中)，我们利用SFE在之前生成的FAMs的指导下对原始图像进行擦除。最后(在步骤5和步骤6中)，我们使用被擦除的图像作为输入来训练检测器

找到最敏感的区域，将最敏感的区域定义为扰动对检测结果影响最大的区域。

正向传播，检测器输入一张人脸图像I，输出两个对数Oreal和Ofake衡量图片真假。结果由两个对数的相对大小决定。ΔIOreal,ΔIOfake\Delta_IO_{real},\Delta_IO_{fake}ΔIOreal,ΔIOfake代表微小的噪声对输出的影响，两者之间的最大差值视为FAM。代表扰动对检测结果的影响。

FAM Map：Map1=max(abs(ΔIOfake−ΔIOreal))=max(ΔI(abs(Ofake−Oreal)))Map_1=max(abs(\Delta_IO_{fake}-\Delta_IO_{real}))=max(\Delta_I(abs(O_{fake}-O_{real})))Map1=max(abs(ΔIOfake−ΔIOreal))=max(ΔI(abs(Ofake−Oreal)))

函数max(·)计算沿通道轴的最大值，函数abs(·)得到每个像素的绝对值

FAM和CAM的区别

FAM定位检测器敏感的区域，而Class Activation Mapping突出显示检测器用于决策的区域。另一方面，FAM在图像级生成map，而Class Activation Mapping基于网络最后的卷积层计算map
可疑伪造擦除

擦除方法SFE，遮挡FAM计算的Top-N敏感区域。

首先以小批量的方式为每张图像生成FAM，FAM和输入图像的大小都可以假设为H×W，
对于每张图像，我们根据之前生成的对应FAM中的值降序排序坐标。接下来，按照上面计算的顺序将每个像素视为锚点。
对于每个锚点，我们使用随机整数来形成一个矩形块，尺寸小于He×We(He≤H,We≤W)H_e\times W_e(H_e\le H,W_e\le W)He×We(He≤H,We≤W)对之前未被遮挡的锚点进行遮挡.
重复遮挡过程，直到每个图像被n个块遮挡。

优点：

1)在FAM的指导下精确遮挡面部敏感区域;

2)利用多个块灵活擦除不同位置的伪造区域，尽可能多地保留面部区域;

3)不泄露额外信息给检测器，防止检测器对擦除块的形状或位置过拟合

论文：Representative Forgery Mining for Fake Face Detection相关推荐

[论文阅读]Representative Forgery Mining for Fake Face Detection
Representative Forgery Mining for Fake Face Detection 文章创新点提出了一种基于注意力引导的数据增强方法 FAM:一种可以定位出对检测器而言最敏感 ...
【论文翻译虚假新闻检测综述 KDD 2017】Fake News Detection on Social Media: A Data Mining Perspective
论文题目:Fake News Detection on Social Media: A Data Mining Perspective 论文来源:KDD 2017 美国亚利桑那州立大学, 美国密歇根州 ...
【论文解读】Mining Dual Emotion for Fake News Detection
本文主要内容: 本文主要是对以下论文进行解读 <Xueyao Zhang, Juan Cao, Xirong Li, Qiang Sheng, Lei Zhong, and Kai Shu. 2 ...
【论文解读 WWW 2019 | MVAE】Multimodal Variational Autoencoder for Fake News Detection
论文题目:MVAE: Multimodal Variational Autoencoder for Fake News Detection 论文来源:WWW 2019 论文链接:https://doi ...
论文研读 “Liar, Liar Pants on Fire”：A New Benchmark Dataset for Fake News Detection
给十月画个句号最近上的很喜欢的一门课中,老师要求我们研读一篇顶会论文并进行分享,好久没能静静地坐下来写一篇博客了,接下来希望自己能够多读论文的同时把论文的思路以博客的形式输出~ 论文来源 " ...
【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态
本博客系本人阅读该论文后根据自己理解所写,非逐句翻译,欲深入了解该论文,请参阅原文. 论文标题:Hierarchical Multi-modal Contextual Attention Networ ...
【论文阅读】Multimodal Fusion with Co-Attention Networks for Fake News Detection --- 虚假新闻检测，多模态融合
本博客系本人理解该论文之后所写,非逐句翻译,预知该论文详情,请参阅论文原文. 论文标题:Multimodal Fusion with Co-Attention Networks for Fake Ne ...
虚假新闻检测的论文阅读笔记——sigir2021：User Preference-aware Fake News Detection
文章目录 1.虚假新闻检测的相关简介 2.本篇论文引言 3.模型介绍 3.1.内生偏好编码器 3.2.外生内容编码器 3.3.二者信息融合 4.实验 4.1.各模型的实验结果 4.2.消融实验 5.结 ...
论文阅读笔记：Towards Fine-Grained Reasoning for Fake News Detection
Towards Fine-Grained Reasoning for Fake News Detection author={Jin, Yiqiao and Wang, Xiting and Yang ...

论文：Representative Forgery Mining for Fake Face Detection

摘要

介绍

方法

论文：Representative Forgery Mining for Fake Face Detection相关推荐

最新文章

热门文章