deepfake 图片_找到那张假照片!对抗Deepfake之路
原标题:找到那张假照片!对抗Deepfake之路 来源:Tech
随着Deepfake等一键式换脸应用的流行,越来越多的普通人也能通过简单的操作对视频中人像、甚至声音进行修改,达到以假乱真的地步。但在有趣的背后,也有助长谣言、侵犯隐私的隐患。
2019年1月,宾厄姆顿大学曾与英特尔合作推出视频图片检测工具FakeCatcher。而在今年八月份,研究人员又发表《基于生物信号残留物进行深层合成图片检测(How Do the Hearts of Deep Fakes Beat? Deep Fake Source Detection via Interpreting Residuals with Biological Signals)》,准确率可以达到97.29%。
FakeCatcher是如何实现其“打假”功能,是否会导致Deepfake“反打假”以及两年后FakeCatcher又有什么新的突破和创新,今天智东西为你一一道来。
论文:https://arxiv.org/abs/2008.11363
一、Deepfake很全能?心跳、脉搏来“打假”
FakeCatcher基于的原理是人类心跳时产生的细微肤色差异,而具体到应用上,则是与指尖脉搏血氧仪以及Apple Watch用于测量运动心率相同的技术——光电容积描记法(简称PPG)。
英特尔高级研究科学家Ilke Demir表示:“我们从面部不同部位提取了几种PPG信号,并检测了其时空一致性。在通过深度学习合成的视频中,心跳信号既没有一致性,也与脉搏信号没有任何联系。而在真实拍摄的视频中,人面部的血液流动是会和脉搏,也就是心跳信号保持一致的。”
与Demir合作的是宾厄姆顿大学计算机科学系的博士Umur A. Ciftci及其导师,图形和图像计算实验室的Lijun Yin教授。该实验室创建的多个3D人脸和表情数据库曾被多位好莱坞电影制片人、视频游戏创作者用于影视或游戏项目。
在实验室中,Ciftci借助18台摄像机以及红外摄像机,建立了全美最先进的生理信号采集设备。在实验过程中,受试者需要佩戴监测呼吸和心率的设备,30分钟的数据需要12个小时的计算处理。
Yin说:“Umur做了很多生理数据分析,并用我们第一个多峰数据库进行了信号处理。我们不仅收集2D、3D可见图像的数据,也收集热像仪和生理传感器的数据。使用生理学特征去检测图像造假将会是以后的新的思路。”
二、要打“假”,先造“假”
相比起实验中采集的图像,Deepfake处理过的“假照片”图像质量要低很多,这意味着合成的照片和视频可以更容易被发现。
Ciftci说:“我们会用采集到的生理信号对3D图像进行处理,合成了一些‘假’视频。和Deepfake不同的是,我们采用真实的受试者的数据并进行处理,而Deepfake则是用网络中的数据。但如果只是从‘假’的层面考虑,并没有什么不同。”
“就像警察知道罪犯是怎么犯案的一样,如果我们要找到那些假照片,我们就得先知道它们是怎么制作出来的,甚至当我们自己创造数据库时,也使用了Deepfake的一些方法。”
▲Lijun Yin(左)和Umur Ciftci(右)在3D扫描实验室,图源:Jonathan Cohen
自FakeCatcher发表以来,全球共有27位研究人员在自己的研究中使用了该算法和数据集。但很多人都担心,如果这些研究成果未来向大众公开,Deepfake制作者是否有可能通过学习验伪过程,修改算法以升级Deepfake使合成照片在未来更难被发现。
但Ciftci并不太担心这一点:“对于不懂生理信号处理的人来说,突破生理信号检测并非易事。如果没有重大软件更新,Deepfake制作者不可能仅仅利用现有技术来实现这一目标。”
三、除了能“打假”,还能拍电影
英特尔参与FakeCatcher很大原因是基于对容积捕获的兴趣,也就是用多个摄像机全方位捕捉同一个人物的信息,并将其结合创建一个可以无缝置于任何环境的三维模型,这将对AR和VR具有重大意义。
英特尔称正进行世界上最大的容积捕获实验:在10000平方英尺的网格状球顶下装有100个摄像机,场地可同时容纳约30人,受试者甚至可以骑几匹马。
▲英特尔实验场地
通过编译FakeCatcher数据并对其进行逆向工程,英特尔希望结合真实的生物信息,制作出更逼真的效果图。
英特尔未来的计划包括将容积捕获技术运用在电视节目、体育赛事和增强现实中,使观众可以沉浸在这些场景中。除此之外,英特尔也会涉足3D、VR电影制作,近期在威尼斯电影节上也有英特尔参与的VR项目正在首映。
Demir表示英特尔正在从以芯片为中心转变,向AI、边缘计算和数据靠近,尽一切可能发掘AI在自身业务上的应用。”
四、“打假”无止境,FakeCatcher再进步
在今年八月发表的论文中,Demir等人利用生物信号残差提出了一种深层的伪造源检测模型,不仅检测伪造视频的准确率可以达到97.29%,在推断伪造视频背后的生成模型上,准确率也达到了93.39%。
因为用于检测心跳、血液流动等生理变化的PPG信号难以模仿,至今还没有生成模型可以创建出PPG信号一致的伪造视频。所以研究人员不仅可以通过PPG信号的不一致找出伪造的视频,还能通过PPG信号之间的残差找到伪造视频背后的生成模型。
研究人员从脸部不同位置,通过帧窗口从视频中提取32种原始PPG信号,再将信号及其频谱密度编码为一个时空块,即所谓的PPG单元。PPG单元再通过神经网络处理后,可以识别源生成模型的不同残差的特征。最后,使用机率平均对数将每个特征序列合并为预测每个视频背后的生成模型。
▲Deepfake检测流程
结语:产学研合作,瞄准基准数据集
大量伪造的视频及图像在网络及社交媒体上广泛传播,所以设计基准数据集以用于深度检测研究更加迫切。研究人员表示下一阶段,他们将创建包含PPG信号的新数据集,以向这一目标再迈一步。
Yin也表示,希望在未来能继续和英特尔合作,让研究成果不仅在学术界有所影响,在业界也能得到实际应用。
来源:Tech Xplore
deepfake 图片_找到那张假照片!对抗Deepfake之路相关推荐
- deepfake 图片_担心自己照片被Deepfake利用?试试波士顿大学这项新研究
换脸视频是滥用 DL 的一大后果,只要网上有你的照片,那么就有可能被换脸到其它背景或视频.然而,有了这样的开源攻击模型,上传的照片不再成为问题,deepfake 无法直接拿它做换脸. 机器之心报道,参 ...
- python风格变换图片_利用神经网络轻松把照片转换成梵高风格
在今天的文章中,我们将实现风格转换效果. 为了做到这一点,我们必须更深入地理解卷积神经网络及其各层是如何工作的. 在本文的最后,您将能够创建并运行一个风格转换程序. 什么是风格转换 在我们开始我们的风 ...
- python换图片_详解Python给照片换底色(蓝底换红底)
现在网上出现了很多在线换底色的网页版工具是这么做的呢?其实用Python就可以实现. 环境要求 Python3 numpy函数库 opencv库 安装 下载适应版本的numpy函数库,我电脑是WIN1 ...
- linux的系统监视器图片_国产操作系统UOS个人版测评:关山初度路犹长,已在路上仍需努力...
UOS统一操作系统是由统信软件发布的一款基于debain(Linux)开发的一款国产操作系统,统一操作系统筹备组是由多家国内操作系统核心企业自愿发起,成员包括中国电子集团(CEC).武汉深之度科技有限 ...
- 华为手机拍照后图库里无照片_华为图库中上千张照片,如何快速找到想要的照片?...
如果您喜欢拍照或收集图片,在华为图库中,或许会有上千张照片.如何快速找到想要的照片? 1.图库关键词搜索,一搜即得 打开"图库",点击右上角[ ] ,输入所查照片的关键信息,如&q ...
- 三星手机怎么恢复删除的图片_手机相册照片突然删除了怎么恢复?这个方法好用...
生活中很多感情的沟通都是通过照片传达的,在微信斗图,在qq分享照片.和朋友聚会拍照留念等等,那么手机照片突然没了还能找回来吗? 情景一:手机相册照片突然删除了怎么恢复 大家平时都喜欢玩自拍.抖音等小视 ...
- HighNewTech:人类发布史上首张黑洞照片—1+17张高清图片讲解黑洞简史
High&NewTech:人类发布史上首张黑洞照片-1+17张高清图片讲解黑洞简史 导读 科技圈大事件:天文学家捕获首张黑洞照片.爱因斯坦曾精准语言,霍金曾发现黑洞辐射,一个令众多 ...
- python爬取app图片_利用python爬取斗鱼app中照片方法实例
前言 没想到python是如此强大,令人着迷,以前看见图片总是一张一张复制粘贴,现在好了,学会python就可以用程序将一张张图片,保存下来. 最近看到斗鱼里的照片都不错,决定用最新学习的python ...
- k均值聚类图像分割matlab代码_用K均值聚类法为人类拍摄的首张黑洞照片进行分割...
众所周知,人类最近拍摄了首张黑洞照片.网友们纷纷表示,这明明就是一个甜甜圈嘛!以前以为黑洞是这个世界上最最高冷的存在,而此刻突然现出真身,形象却是如此的人畜无害!不但如此,还勾起了网友的食欲!简直是罪 ...
- python黑洞_史上第一张黑洞照片是用Python合成的?
这两天,史上第一张黑洞照片,在朋友圈和各大公众号疯传,希望你没有收到视觉中国的律师函. 好了,言归正传. 这个照片是怎么「拍到」的呢? 其中一位研究人员(一个妹子,MIT 的博士,就是头图这位)就在 ...
最新文章
- oracle字段重复新增错误,oracle在已有重复数据的列上创建唯一约束
- Verilog中Dump函数及用法
- 大话文本分类之Fnet
- Oracle 11g新特性之--只读表(read only table)
- 网站外链的存在有什么作用呢?
- POJ1679 Luogu4180 次小生成树
- mysql优化 mysql.ini优化
- 程序员面试金典 - 面试题 04.10. 检查子树(双重递归)
- linux 禁止其他用户登录,在Linux中如何禁止用户登录
- oracle时间查询
- mysql有程序过程吗_MySQL工作(执行)流程
- 【SPOJ - NSUBSTR】Substring(统计长度为x的子串最多出现的次数--后缀自动机)
- 生信技能树 电脑配置linux,生信技能树----Linux练习题答案
- 今天是本学期的第几周的第几天? (15 分) C语言
- springboot集成shiro
- 酷客多小程序重磅升级,这十几个模板足以打动你的心!
- 无限法则服务器错误代码,电脑打个无限法则没事儿重启,看系统管理器。提示如图错误代码,发现看不懂...
- c语言中常用数学符号,C语言中常用的数学公式
- 可见光通信 调制解调技术 家庭机器人 可见光通信应用 原理及硬件方案
- 婚纱摄影APP软件开发详细