图像视频伪造检测，针对DeepFake技术检测效果不佳

随着Deepfake技术的发展，互联网上充斥着大量包含伪造人脸的虚假视频，Deepfakes类技术的滥用带来巨大的负面影响，本文给出一些典型检测思路及方案。很多情况下，Deepfake“以假乱真”的程度极高，人眼难以察觉。加之其算法目前还无法建模分析，检测技术的研究被严重影响，而造假方的适应速度却很快，新技术日益迭代。

“DeepFake”就是基于生成式对抗网络（Generative Adversarial Networks，GAN）生成假脸的技术，文献[1]指出在利用DeepFake技术伪造的人脸图像面前，即使是当前最先进的方法检测效果也不佳。

[1]KORSHUNOV P, MARCEL S. Deepfakes: a New Threat to Face Recognition Assessment and Detection[EB/OL ] . [2020-10-03].https://arxiv.org/pdf/1812.08685.pdf.

基于传统图像取证

传统的图像取证初始主要是基于传统的信号处理方法，大多数依赖于特定篡改的证据，利用图像的频域特征和统计特征进行区分，如局部噪音分析、图像质量评估、设备指纹、光照等，解决复制-移动、拼接、移除这些图像篡改问题。而Deepfake视频本质也是一系列伪造合成的图片合成，因此可以将此类方法应用到Deepfake检测。

“半真半假”DeepFake换脸也能精准识别？阿里安全提出全新检测方法_AI科技大本营-CSDN博客一段包含多个人脸的视频中，攻击者只对一个或者几个人的人脸进行伪造，这种“半真半假”的伪造情况能否被检测识别？近日，阿里安全图灵实验室宣布，其已成功打造出针对这种换脸视频的DeepFake...https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/1082502622020年阿里安全图灵实验室算法工程师向溪介绍，为更好地检测部分篡改的DeepFake视频，阿里安全图灵实验室提出了一种全新的检测方法，这种方法标注简单，并能帮助神经网络更好地学习人脸特征，实现更好的检测效果。阿里安全图灵实验室还发现了攻击者篡改视频时露出的马脚，由于攻击者对视频实行单帧篡改，导致同一人脸在相邻帧上会有一些抖动，因此研究人员设计了新检测模块来发现这些抖动，辅助识别。此外，此前业界提出的检测方法多适用于针对单人视频脸部篡改或多人视频所有人脸篡改，阿里安全构建了一个部分攻击数据集，弥补了DeepFake检测数据集在多人脸视频中只对一个人脸或者几个人脸篡改场景里的空白。

基于生理信号特征

伪造视频往往忽略人的真实生理特征，无法做到在整体上与真人一致。比如，有研究人员发现Deepfakes创造的是分离的合成脸区域，这样在计算3D 头部姿态评估的时候，就会引入错误。因为Deepfakes是交换中心脸区域的脸，脸外围关键点的位置仍保持不变，中心和外围位置的关键点坐标不匹配会导致3D 头部姿态评估的不一致，故用中心区域的关键点计算一个头方向向量，整个脸计算的头方向向量，衡量这两个向量之间的差异. 针对视频计算所有帧的头部姿态差异，最后训练一个支持向量机（SVM）分类器来学习这种差异，由此便可以检测出虚假视频。

基于图像篡改

深度伪造图像受限于早期深度网络的生成技术，在生成的人脸在细节上存在很多不足。比如有研究人员利用真假脸的不一致性来区分，如(1) 全局不一致性：新的人脸的生成，图像的数据点插值是随机的，并不是很有意义，这会导致的全局眼睛的左右颜色不一致，鼻子的左右色彩等；(2) 光照不一致性：篡改区域和正常区域对光照的反射不一样，如眼睛区域，Deepfakes生成的视频大多丢失这个眼睛反射细节；（3）几何位置不一致：细节位置缺失，如牙齿，只有一些白色斑点，这个细节没有建模。通过对这些特定区域（牙齿、眼睛等）提取的特征向量训练多层感知机进行分类。
此外，kaggle上也有检测Deepfake的竞赛

Deepfake Detection Challenge | Kaggle

常见的人脸抗欺骗检测方法包括人体活性检测、环境信息技术、纹理分析与用户交互等。微软亚洲研究院最近提出一种基于Face X-Ray的真假人脸鉴别算法，其通过Face X-Ray确定图像是否包含 2种不同的噪声，从而判定人脸为合成图像的几率大小，该算法的普适性和通用性强，辨别率达到 95 %以上（LI L, BAO J, ZHANG T, et al. Face X-Ray for More General Face Forgery Detection[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2020:5001-5010.）。文献（GALBALLY J, MARCEL S. Face Anti-Spoofing Based on General Image Quality Assessment[C]//Proceedings of the 22nd International Conference on Pattern Recognition. Washington D.C., USA: IEEE Press, 2014:1173-1178. ）采用一种基于图像质量综合评价的人脸抗欺骗干扰方法，从原始图像和经过高斯滤波处理后的图像中提取14个特征，并将其传递给 LDA模型进行分类，该方法从图像总体质量的角度为区分真假面部图像提供了有价值的信息。文献（JIANG F L, LIU P C, SHAO X H, et al. Face Anti-spoofing with Generated Near-infrared Images[J]. Multimedia Tools and Applications, 2020,79:21299-21323. ）在辨别真假人脸图像时结合了深度学习的方法，通过卷积神经网络（Convolutional Neural Networks，CNN）学习真伪可见光图像以及相应的经过GAN转化生成的近红外人脸图像的融合特征，实现实时的真伪人脸图像的分类。该方法无需近红外设备，节约成本的同时在定量与定性实验上均取得较好的效果。

最后聚焦:反伪造：Face X-ray https://arxiv.org/pdf/1912.13458.pdf

大部分的人脸伪造算法都具有相同的步骤：将一个修改后的人脸图像放在另一个背景图像中，如下图所示，

而这两张图像由于采集或生成方式的不同，某些性质可能有差异，如果成功检测出这些差异，不仅可以判断人脸是否是伪造的，还可以确定图像融合的边界。

下图展示了伪造人脸和背景两个指标的不同。
人脸融合的公式如下

其中IM是融合后的图像，IF是前景图像，IB是背景图像，M是掩码(mask)，M每个元素的取值是0~1.
定义face X-ray如下

Mij取0.5时，Mij*(1-Mij)最大为0.25，为了让B归一化到0~1范围内，需要乘系数4。B就是face X-ray，它是一张显示前景与背景边界的图像，如下图

只有假脸的face X-ray才有轮廓，真脸的face X-ray 全黑
训练
输入一张人脸，输出其对应的face X-ray和表示真假的变量。
可以直接在真实人脸数据集里生成训练数据集。步骤如下：
1，对于一个背景图像IB，根据其人脸关键点的位置在剩余的数据集里找100个最近邻，并从中随机选择一个作为前景IF.
2, 用凸包围住IB人脸关键点，此为原始的M。因为实际应用中被替换的区域形状不一，因此要对原始的M上作形状的随机变换生成最终的M。
3，根据上述两个公式融合人脸和计算B
整个过程如下图. 虽然只用一种方法生成假人脸，但实验证明该网络能很好地应用在其他方法生成的假人脸。