让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源
点击上方“AI遇见机器学习”,选择“星标”公众号
重磅干货,第一时间送达
十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI
想让名人学着你说话,怎么办?
很简单,只要一张名人的照片,配上你说话的视频,分分钟就能搞定。
来看下效果:
无论你是挤眉弄眼,还是摇头晃脑,照片里的名人们都能跟你神同步!
这就是来自意大利特伦托大学的一项研究:
利用一个一阶运动模型 (First Order Motion Model),静态图也能动起来,换脸也不在话下。
当然,这么有意思的项目,已经开源了!
一个川普在说话,一群史塔克也有话说
其实,这项研究早在数月前便已发表。
当时用的输入视频是川建国同志,静态照片用的是一组《冰与火之歌》史塔克家族及剧中其他人物图片。
效果是这样的:
可以看到,无论川建国同志是眨眼、晃头,史塔克家族的人们做到了神同步。
就连那张标志性的O型嘴,也“模仿”的惟妙惟肖。
而时隔几个月,这项技术又在Reddit爆火了起来。
一个可能的原因是,这次输入的视频来自流行的短视频平台,也就是说我们自己录一段视频也能用。
加上效果的逼真、有趣,或许用不了多长时间,短视频内容平台可能就会推出这个功能了吧。
当然,这个模型的魔力不止于此。
输入一个模特换pose的视频,再配上多张静态服饰照片,就能批量输出动态展示服装的视频了。
换脸,也是小菜一碟。
不过,也要温馨提醒一句:慎用静态照片,不然出来的效果可能就不太像“阳间的东西”了……
一阶运动模型
在训练阶段,研究人员采用了大量的视频序列集合,包含相同类别的对象。模型通过结合视频中的单帧,和学习到的潜在运动表示,来训练重构视频。
在测试阶段,研究人员将模型应用于由源图像和驱动视频的每一帧组成的对,并执行源对象的图像动画。
模型的框架就如下图所示:
框架主要由2部分构成:运动估计模块和图像生成模块。
运动估计模块的目的,是预测一个密集的运动场。研究人员假设存在一个抽象的参考框架,并且独立估计两个变换,分别是「从参考到源」和「从参考到驱动」。这样就能够独立处理源帧和驱动帧。
研究人员认为这个步骤是必要的,因为在测试时,模型会接收从不同视频中采样的源图像和驱动帧对,它们在视觉上可能非常不同。
在第一步中,研究人员从稀疏轨迹集近似这两种变换,通过使用以自监督方式学习的关键点来获得。利用局部仿射变换对每个关键点附近的运动进行建模。
在第二步中,密集运动网络结合局部近似得到密集运动场。除此之外,这个网络还输出遮挡的mask,指示哪些图像的驱动部分可以通过源图像的扭曲(warping)来重建,哪些部分应该被绘制(根据上下文推断)。
在第三步中,生成模块按照驱动视频中,提供的源对象移动的图像进行渲染。此处,研究人员使用一个生成器网络,根据密集的运动对源图像进行扭曲,并对源图像中被遮挡的图像部分进行着色。
最后,这个模型已经在GitHub上开源,我们在“传送门”中已经奉上地址链接。
快去试试吧~
传送门
GitHub项目地址:
https://github.com/AliaksandrSiarohin/first-order-model
论文地址:
https://arxiv.org/pdf/2003.00196.pdf
作者系网易新闻·网易号“各有态度”签约作者
欢迎关注我们,看通俗干货!
让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源相关推荐
- android梦网物联卡信息,梦网物联云:实现智能穿戴只需一张物联网卡
近年来智能穿戴行业发展迅速,智能手环.智能手表.智能眼镜等智能穿戴设备日渐普及,不仅年轻人被智能穿戴设备吸引,老年人和小孩也慢慢用上了智能穿戴设备,智能穿戴设备正在悄无声息地对我们的生活产生影响. 据 ...
- android梦网物联卡信息,摘自TechWeb:梦网物联云:实现智能穿戴只需一张物联网卡...
近年来智能穿戴行业发展迅速,智能手环.智能手表.智能眼镜等智能穿戴设备日渐普及,不仅年轻人被智能穿戴设备吸引,老年人和小孩也慢慢用上了智能穿戴设备,智能穿戴设备正在悄无声息地对我们的生活产生影响. 据 ...
- 单眼皮眼妆学起来 打造电眼只需六步
很多内双或者单眼皮的MM们都很不自信,觉得自己的眼睛长得不够好看,对于单眼皮怎么画眼线一无所知,所以就不愿意化妆,而且就算化妆也得贴个双眼皮贴,看起来很不自然.其实不一定,现在国际上都爱单眼皮呢!今天 ...
- 玛丽莲·梦露从未公开的照片
世界著名的摄影师伊夫· 阿诺德最近将几张玛丽莲·梦露从未公开的照片限量分发给了英国几个选定的画廊. 已经94岁高龄的阿诺德当年与梦露建立了互相信任的关系,拍了许多反映梦露私秘生活的照片,但她很少将这些 ...
- 钻进梦露胯下看裤衩颜色
7月15日,在美国芝加哥,一位新娘和她的伴娘们观赏"永远的玛丽莲·梦露"塑像. 这座由苏厄德·约翰逊设计的梦露像由不锈钢和铝制成,高约8米,重约15吨,设计灵感来自于梦露在其195 ...
- 为什么那么多人喜欢“玛丽莲·梦露”?
每个人的审美观真的可能会相差很大. 从我的审美角度来说,从没觉得这个女人哪里好看或是性感. 相反,觉得这个女人很平凡,可能是时代造就的原因. 梦露突破了她所在时间的审美底线,也成就了她自己.
- 《玛丽莲·梦露》我不止性感,还有从底层溯流而上的努力
<玛丽莲·梦露>我不止性感,还有从底层溯流而上的努力 宋丹,中文硕士,河北秦皇岛人,以为充满智慧的才女.玛丽莲·梦露传历经两年完稿.她说,终于可以给自己一个交代了. 文章目录 <玛丽 ...
- Dynamo For Revit : 梦露大厦简单实现
简介 梦露大厦,看到很多和 Dynamo 有关的地方都有人提到这个,以及如何实现.我也动手写了一个,觉得还挺适合的.思路其实很简单: 画一个椭圆 根据这个椭圆,做一系列椭圆,每个椭圆有一定旋转角度 根 ...
- [Golang梦工厂]一个小项目带你学会GIN框架、JWT鉴权、swagger生成接口文档,看这一篇就够了
前言 哈喽,大家好,我是asong,这是我的第八篇原创文章.听说你们还不会jwt.swagger,所以我带来一个入门级别的小项目.实现用户登陆.修改密码的操作.使用GIN(后台回复Golang梦工厂: ...
最新文章
- 赞!经典教材《统计学习导论》终于有Python版了
- 这样用组图创作内容,能让你的文章被转发
- bulid-tool
- MySQL 索引 :哈希索引、B+树索引、最左前缀匹配规则、全文索引
- linux7.2 静态IP设置,Centos 7 学习之静态IP设置
- 为什么只有360公开支持华为系统,其他公司都不敢表态?
- codeforce No to Palindromes!(枚举)
- C++:计算选手最终得分
- 每天一个linux命令(16):witch命令
- Android Studio无法检测到魅族手机的解决方法
- Outlook连接Gmail不成功可以试试以下方法
- 如何设置文件的默认打开方式
- Nginx 部署、反向代理配置、负载均衡
- SQL零基础入门学习(七)
- 华为“杀疯了”:发布“摸鱼”神器10余款新品
- Google Analytics中的 direct, organic search, referral
- vue3-HTTP请求
- 微信公众号JS屏蔽分享,复制链接等
- brat报错:The server encountered a serious error, please contact the administrators at ____ and give th
- Linux文件系统挂载的概念