AI在茫茫人海中，看到只有你被Deepfake了丨阿里安全出品

鱼羊发自凹非寺
量子位报道 | 公众号 QbitAI

自打有了deepfake，再也不敢相信「眼见为实」了。

要说把朱茵换脸成杨幂，把海王换脸成徐锦江，大家还可以一笑而过。

△图源：微博用户@慢三与偏见

可若是公众人物被deepfake了什么不该说的话、不该做的事，就让人细思极恐了。

为了防止世界被破坏，为了维护世界的和平，（狗头）现在，阿里安全图灵实验室也加入了“围剿”deepfake的队列：

打造deepfake检测算法S-MIL，多人现场视频，只要其中1人被换脸，就能精准识别。

基于多实例学习的deepfake检测方法

魔高一尺，道高一丈。deepfake和deepfake检测技术的较量其实早已展开。

不过，此前存在的deepfake检测方法主要分为两类：帧级检测和视频级检测。

基于帧级的方法需要高成本的帧级别标注，在转化到视频级任务时，也需要设计巧妙的融合方法才能较好地将帧级预测转化为视频级预测。简单的平均值或者取最大值极易导致漏检或误检。

而基于视频级别的检测方法，比如LSTM等，在deepfake视频检测时，过多专注于时序建模，导致deepfake视频的检测效果受到了一定的限制。

△部分deepfake攻击，四个人中只有一人被换脸

为了解决这些问题，阿里安全图灵实验室的研究人员们提出了基于多实例学习的Sharp-MIL（S-MIL）方法，只需视频级别的标注，就能对deepfake作品进行检测。

核心思想是，只要视频中有一张人脸被篡改，那么该视频就被定义为deepfake视频。这就和多实例学习的思想相吻合。

在多实例学习中，一个包由多个实例组成，只要其中有一个实例是正类，那么该包就是正类的，否则就是负类。

S-MIL就将人脸和输入视频分别当作多实例学习里的实例和包进行检测。

并且，通过将多个实例的聚合由输出层提前到特征层，一方面使得聚合更加灵活，另一方面也利用了伪造检测的目标函数直接指导实例级深度表征的学习，来缓解传统多实例学习面临的梯度消失难题。

具体而言，算法主要由三个关键部分组成。

首先，对输入视频中的采样帧进行人脸检测，并将提取的人脸喂给CNN，以获取特征作为实例。

在实例设计上，与传统多实例学习的设定一样，实例与实例间是相互独立的。

但由于deepfake是单帧篡改的，导致同一人脸在相邻帧上会有一些抖动，就像这样：

为此，研究人员设计了时空实例，用来刻画帧间一致性，用于辅助deepfake检测。

具体而言，使用文本分类里常用的1-d卷积，使用不同大小的核对输入的人脸序列从多视角上进行编码，以得到时空实例，用于最终检测。

也就是说，第二步，是将编码后的时空实例提取出来，形成时间核大小不同的时空包。这些包被一起用来表示一段视频。

最后，对这些包进行S-MIL，算出所有包的fake分数，这样，就能得到整个视频的最终fake分数，从而判断视频到底是不是deepfake。

S-MIL定义如下：

其中，pi和p(i)^(j)分别是第i个包及其包里的第j个实例的正类概率；M为包里的实例数；w是网络参数；h(i)^(j)是包i里的实例j对应的特征。

由于现有的带帧标签的数据集中，同一视频中真假人脸混杂的样本较少，研究人员还构建了一个部分攻击数据集FFPMS。

FFPMS共包含14000帧，包括4种类型的造假视频（DF、F2F、FS、NT）和原始视频，既有帧级标签，也包含视频级标签。

检测效果达到SOTA

研究人员在DFDC、Celeb和FFPMS数据集上对S-MIL进行了评估。

实验结果表明，假脸的权重比较高，说明该方法在仅需视频级别标签的情况下，可以很好地定位到假脸，具有一定的可解释性：

并且，该方法在视频检测上能到达到state-of-the-art的效果。

团队介绍

据阿里安全图灵实验室资深算法专家华棠介绍，截止目前，阿里已经将该检测技术使用在内容安全场景中，后续也会在直播场景中进行布局。

阿里安全成立于2005年，目标是面向阿里巴巴经济体建立全面的网络安全、业务安全、数据安全与平台治理的管理机制，利用大数据构建强大的实时风险防御能力。

目前所涵盖的业务范畴既包括最底层的设备层、网关层以及流量层的网络威胁防御，也包括了业务层的安全治理，例如账号安全、假货与欺诈识别、内容合规、数据及信息保护、营商环境治理等等。同时，安全中台能力还全面输出给阿里巴巴经济体内的跨境公司以及生态伙伴。

阿里安全图灵实验室是阿里安全旗下的机器学习研发团队，从事安全与风险方面的AI系统研发，核心技术包括计算机视觉、自然语言处理、生物特征识别、AI安全、图计算以及异常检测和分析等。

传送门

论文地址：
https://arxiv.org/abs/2008.04585

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

每天5分钟，抓住行业发展机遇

如何关注、学习、用好人工智能？

每个工作日，量子位AI内参精选全球科技和研究最新动态，汇总新技术、新产品和新应用，梳理当日最热行业趋势和政策，搜索有价值的论文、教程、研究等。

同时，AI内参群为大家提供了交流和分享的平台，更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅：

加入AI社群，与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !