【导读】DeepFake千千万，究竟怎么办？GAN的滥用已经让现在的世界不再「眼见为实」。于是，研究人员提出了FakeTagger系统，将视觉上无法辨别的ID信息嵌入到图像中，准确率高达95%。

拍照、修图、发朋友圈、等大家点赞评论。

是不是已经一气呵成了？

大家都喜欢在社交平台上发自己照片，还希望大家能给自己精修的图点个赞。

然而，随着GAN及其变体在图像合成中的快速发展。

上传到各大平台的照片和视频都有可能会被DeepFake拿去进行编辑。

越来越多的软件可以让毫无专业知识的用户生成DeepFake图像，例如FaceApp等。

现在，甚至连直播都可能是「Fake」的。

我们已经生活在一个「眼见未必为实」的世界里了。

过去两年来，研究人员积极提出各种DeepFake检测技术。这些研究主要是在真实图像和合成图像之间，捕捉细微差异作为检测线索。

在Facebook主办的最新DeepFake检测竞赛 (DFDC) 中，最佳检测结果准确率不到70%。

为了更好检测出DeepFake，来自武汉大学的汪润等人合作开发了一个系统：「FakeTagger」。

值得注意的是，FakeTagger是首个通过图像标记为DeepFake出处和跟踪进行的工作。

论文地址：https://arxiv.org/abs/2009.09869

文中，作者采用了一个基于DNN的编码器和解码器，并对信息嵌入和恢复进行联合训练。

同时，受到香农容量定理的启发，作者加入了冗余信息进而提高了信号通信的鲁棒性。

结果表明，对于常见的Deepfake方法，FakeTagger的重新识别率高达近95%。

FakeTagger

现有的研究大多都集中在已知GAN或简单的数据集上，如FaceForensics++、DeepFake-TIMIT。

通常用于区分真假的伪影由于现实世界中的各种退化问题，很可能会被移除或损坏。包括简单的图像转换和具有扰动的对抗性噪声攻击。

这就成为开发强大的DeepFake检测器的最大障碍。简单点说，现有的DeepFake检测方法面临两个重大挑战：

1. 对未知合成技术的泛化能力差；

2. 图像质量下降后的鲁棒性差。

FakeTagger，顾名思义，它的工作原理就是标记面部照片，其主要解决了三个问题：

1. 对不同GAN的泛化性；

2. 对图像变换的鲁棒性；

3. 嵌入式标签的隐蔽性。

FakeTagger利用编码器和解码器将视觉难以分辨的ID信息，以足够低的级别嵌入到图像中，使其成为基本的面部特征数据。

然后再通过嵌入的信息对图像进行恢复，从而确定是否为经过GAN处理的DeepFake图像。

图像标签

FakeTagger的图像标签具有以下特性：

1. 用于DeepFake的图像标签应该对基于GAN的转换具有鲁棒性；

2. 被标记的信息肉眼无法察觉，不会引入明显的图像质量下降。

FakeTagger的整体架构

方法包括五个关键部分，一个信息发生器????????????????，一个基于DNN的编码器????????????????，一个GAN模拟器????????????????，一个基于DNN的信息解码器????????????????，和一个通道解码器????????????????。

• 信息发生器????????????????从通道编码中生成二进制信息。生成的信息作为一种资产，用于身份验证。

• 编码器????????????????将信息（通常是UID）嵌入到面部图像中，并确保肉眼无法看到标记的信息。换句话说，编码后的图像需要在感知上与输入图像相似。

• GAN模拟器????????????????用于执行各种基于GAN的转换。

• 信息解码器????????????????在基于GAN的剧烈变换后，从编码的面部图像中恢复嵌入的信息。恢复的UID被进一步用于身份验证目的。

• 通道解码器????????????????接受来自????????????的解码信息，产生最终信息????。

图像标签的编码器-解码器训练

基于DNN的编码器和解码器经过联合训练，将信息嵌入给定的输入面部图像。

编码器允许任意信息不被察觉地嵌入给定的任意面部图像中。

解码器经过训练，即使经历了基于GAN的处理后，也能检索到嵌入的信息。

编码器????????????????接收面部图像????和信息????作为输入，然后信息发生器????????????????产生一个冗余信息????′。

编码器????????????????输出带有映射????????????????(????,????′)↦????。

输入的面部图像????需要在感知上与编码的面部图像????，其中????≈????。编码后的面部图像可由GAN处理，其中????????????????(????)↦????。

解码器试图恢复嵌入式信息????????????????(????)↦????或????????????????(????)↦????，其中????≈????′。

最后，信道解码器????????????????产生最终信息????。

信道编码

在信号转换中，信道编码能够纠正错误，解决数据在噪声信道中传输的限制。

作者用信道编码来注入冗余信息，使这些嵌入式信息能够在基于GAN的变换中留存下来。

基于GAN的转换可以简单地被视为一种噪声通道。

信息发生器????????????????产生一个长度比????大的冗余信息????′。

信道失真是由基于GAN的转换引入的错误，并应用二进制对称信道（BSC）来进行表述。

其中，BSC是一个标准的信道失真模型，它假设每个比特在信息中都是独立的，并以一个概率????随机翻转。

损失函数

为了保证解码信息的最小误差，作者在模型训练中引入了两个主要损失。

信息损失????????为计算解码后的信息和生成的信息之间的损失，其中????????????????使用????2损失，表示为 ：

图像损失????????衡量编码图像和输入图像之间的相似度。

准确性的评估

白盒效果

R表示该信息注入了通道编码的冗余信息，N表示该信息没有注入任何冗余信息

结果表明，FakeTagger在部分合成方面表现良好，如身份互换和脸部再现。

准确率最佳为97.3%，最差为95.7%。

不过，在整体合成中的最佳结果只有95.2%。

经过STGAN处理后的性能，如去掉头发、加上胡子、戴上眼镜、改变肤色

在面部特征方面，FakeTagger对容易受到肤色改变的影响。

因为与其他三种属性编辑相比，改变肤色的操作区域更大，强度也更剧烈。

总体而言，FakeTagger在对四种类型的DeepFake进行信息恢复时达到了平均95%以上的准确率，但是对操作区域和输入图像的大小很敏感。

此外，注入的冗余信息在提高FakeTagger的性能方面有着关键的作用。

黑盒效果

DeepFake操作是未知的

结果显示，FakeTagger的平均准确率超过了88.95%，证明了在黑盒环境中的有效性。

与其他三个DeepFake相比，FakeTagger在整体合成中表现良好。

而基线在黑盒中的信息检索准确率只有不到60%。

鲁棒性的评估

作者采用了四种在制作DeepFake视频中广泛出现的扰动，即压缩、调整大小、模糊和高斯噪声。

输入图像大小为256×256，被操纵的面部属性为「胡子」。

鲁棒性评估结果，压缩质量衡量压缩的强度范围从100到0

当扰动的强度增加时，FakeTagger保持了一个小的波动范围，比如压缩率、调整大小的部分。

在四种类型的DeepFake中，整体合成对四种扰动攻击更为敏感，特别是在压缩和添加高斯噪声方面。

因此，考虑到对扰动的鲁棒性，FakeTagger可以很好地应用在实际当中。

作者简介

研究团队成员分别来自武汉大学、中国教育部空天信息安全与可信计算教育部重点实验室、阿里巴巴集团、波士顿东北大学和新加坡南洋理工大学。

一作为通讯作者汪润，武汉大学国家网络安全学院特聘副研究员，硕士生导师。

2018年12月毕业于武汉大学国家网络安全学院，获得信息安全专业博士学位。

2019年-2021年在新加坡南洋理工大学从事博士后研究工作（合作导师 LIU Yang 教授）。

2021年2月加入武汉大学国家网络安全学院。

研究方向包括人工智能安全、对抗样本的攻击与防御、DeepFake、边缘AI、数据驱动安全、软件与系统安全等。

主要研究成果已先后发表在国际顶级学术期刊和会议上，其中以第一作者或通讯作者身份在CCF推荐的A类顶级期刊和会议论文6篇，包括IEEE TMC, ACM Multimedia, IJCAI等。

应邀担任IEEE Transactions on Reliability, IEEE TNNLS, IEEE TCSVT等国际重要学术期刊审稿人。

二作为徐爵飞，卡耐基梅隆大学CyLab研究员，专门研究模式识别、机器学习、计算机视觉和图像处理。

2009年毕业于上海交通大学，后就读于卡内基梅隆大学，获得电子与计算机工程和机器学习硕士学位。

2018年获得卡内基梅隆大学电子与计算机工程博士学位。多次获得顶会最佳论文奖。

参考资料：

https://arxiv.org/abs/2009.09869

推荐阅读

• 【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！

• 分层级联Transformer！苏黎世联邦提出TransCNN: 显著降低了计算/空间复杂度！

• 清华姚班教师劝退文：读博，你真的想好了吗？

• 2021李宏毅老师最新40节机器学习课程！附课件+视频资料

• 最强通道注意力来啦！金字塔分割注意力模块，即插即用，效果显著，已开源！

• 登上更高峰！颜水成、程明明团队开源ViP，引入三维信息编码机制，无需卷积与注意力

• 常用 Normalization 方法的总结与思考：BN、LN、IN、GN

• 注意力可以使MLP完全替代CNN吗？ 未来有哪些研究方向？

• 清华鲁继文团队提出DynamicViT：一种高效的动态稀疏化Token的ViT

• 并非所有图像都值16x16个词--- 清华&华为提出一种自适应序列长度的动态ViT

重磅！DLer-计算机视觉&Transformer群已成立！

大家好，这是计算机视觉&Transformer论文分享群里，群里会第一时间发布最新的Transformer前沿论文解读及交流分享会，主要设计方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、视频超分、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。

进群请备注：研究方向+学校/公司+昵称（如Transformer+上交+小明）

???? 长按识别，邀请您进群！