B 站神曲damedane:精髓在于换脸,五分钟就能学会
导读:AI 换脸技术层出不穷,但一代更比一代强。最近,一个发表在 NeurIPs 2019 的 AI 换脸模型 first order motion model 火了起来,其表情迁移效果胜过同领域其它方法。最近,这项技术在 B 站引起一波新潮流……
来源 | HyperAI超神经(ID: HyperAI)
最近,B 站上涌现出一波画风过于「生草」(B 站黑话,意为魔性搞笑)的视频,播放量动辄上百万,相当火爆。
技能满分的 Up 主们,利用「first order motion 一阶运动模型」的 AI 换脸项目,生成了各种各样画风清奇的视频。
比如,竟然让张学友、杜甫、唐僧、熊猫头表情包声情并茂地演唱《damedane》、《unravel》……画面是这个样子的:
唐僧版《Unravel》,来源:B 站 Up 主:粗犷毛线君
杜甫版《Unravel》,来源 B 站 Up 主:cold_joke
看动图不过瘾,还是直接上视频吧:
流泪猫咪版洗脑神曲《damedane》,截至目前播放量 211.3 万。来源:B 站 Up 主浓密秀发胡图图
不得不说,有点上头……大家可以自行到小破站搜索更多作品观赏。
这些视频引得无数网友摩拳擦掌跃跃欲试,纷纷留言求教程。接下来,我们就来了解一下,实现这些换脸效果的技术(万恶之源):一阶运动模型(first order motion model)。
学习园地 B 站,多个教程教你对口型
迄今为止,类似的换脸、对口型的技术层出不穷,每提出一个,就会引起一波换脸热潮。
而 First order motion 模型由于在五官、口型优化上效果比较好,且容易上手、实现效率高,于是大受欢迎。
B 站上的 up 主们,已经积极上传了不少教程
比如要文章开头的《damedane》换脸,只需几十秒就能实现,五分钟就可以学会。
B 站上的多数 up 主选用 Google 的云端硬盘和 Colab 来进行教程。考虑到翻墙门槛,我们选取了其中一位 up 主的教程,使用国内的机器学习算力容器服务(https://openbayes.com),现在还能薅羊毛,每周都赠送 vGPU 的使用时长,轻松完成该教程。
不到 5 分钟就可以完成自己的《damedane》
这个教学视频逐步讲解,即使是小白,也能轻松学会这招换脸大法。up 主还将 notebook 上传到了平台,只要一键 clone 就可以直接使用。
不过,很多技术 Up 主表示,娱乐之余,制作视频是为了进行技术交流,所以希望大家不要恶意滥用。
上图视频教程地址:
https://openbayes.com/console/openbayes/public/containers/BwZQj5wr3Jp
原项目 Github 地址:
https://github.com/AliaksandrSiarohin/first-order-model
又一个换脸神器,好用在哪里?
First order motion 模型来自顶会 NeurlPS 2019 上的一篇论文,《First Order Motion Model for Image Animation》(《用于图像动画的一阶运动模型》),作者来自意大利的特伦托大学以及 snap 公司。
论文地址:https://arxiv.org/pdf/2003.00196.pdf
由标题就可知,该论文要实现的目标是让静态图片动起来。在给定一张源图片和一个驱动视频的情况下,让源图片中的形象,跟着驱动视频中的动作动起来。也就是,让万物皆可动起来。
效果如下图所示,左上角为驱动视频,其余为源静态图:
模型框架构成
总的来说,该一阶运动模型的框架主要由两个模块组成:运动估计模块(motion estimation module)和图像生成模块(image generation module)。
运动估计模块:通过自监督学习将目标物体的外观和运动信息进行分离,并进行特征表示。
图像生成模块:模型会对目标运动期间出现的遮挡进行建模,然后从给定的名人图片中提取外观信息,结合先前获得的特征表示,进行视频合成。
方法概述
比传统模型强在哪里?
有人可能会有疑问,这和之前的 AI 换脸方法有什么不同?作者给出了解释。
此前的换脸视频操作,需要以下操作:
通常需要针对换脸的双方人脸图像数据,进行事先训练;
需要对源图像进行关键点标注、再进行相应的模型训练。
但现实中个人的人脸数据较少,也没有大量的时间进行训练。因此,传统的模型通常用在特定形象上效果较好,但用在普通大众身上,质量就很难保证,容易翻车。
之前的方法会出现表情迁移不准的情况
因此,该论文提出的方法,解决了对数据的依赖问题,大大提高了生成效率。想实现表情、动作迁移,只需要在同类别的图像数据集上训练即可。
比如想实现表情迁移,则不管是换谁的脸,只要在人脸数据集训练即可;想实现太极动作迁移,就用太极视频数据集进行训练。
训练完成之后,使用对应的预训练模型,就可以实现让源图像跟着驱动视频动起来的结果。
该方法与其它方法在同一数据集训练效果对比
第二、三列的方法对于人体动作迁移会出现偏差
作者将其方法与目前该方向最先进的方法 X2Face 和 Monkey-Net 进行了对比,结果在相同的数据集中,本方法各个指标都有所提高,在两个人脸数据集(VoxCeleb 和 Nemo)上,本方法也明显优于最初提出用于人脸生成的 X2Face。
damedane 换脸视频原型的倾情演绎
更多精彩推荐
开放源码,华为鸿蒙HarmonyOS 2.0来了
怎样用Python控制图片人物动起来?一文Get
滴滴AI Labs负责人叶杰平离职!CTO 张博接任
一年翻 3 倍,装机量 6 亿台的物联网操作系统又放大招
B 站神曲damedane:精髓在于换脸,五分钟就能学会相关推荐
- B 站神曲 damedane:精髓在于换脸,五分钟就能学会
By 超神经 内容提要:AI 换脸技术层出不穷,但一代更比一代强.最近,一个发表在 NeurIPs 2019 的 AI 换脸模型 first order motion model 火了起来,其表情迁移 ...
- B 站神曲 damedane:精髓在于深度变换,五分钟就能学会
最近,B 站上涌现出一波画风过于「生草」(B 站黑话,意为魔性搞笑)的视频,播放量动辄上百万,相当火爆. 技能满分的 Up 主们,利用「first order motion 一阶运动模型」的 AI 项 ...
- lvds接口屏线安装图解_五分钟让你学会液晶拼接屏安装方法
液晶拼接屏成为目前比较热门的大屏显示系统,技术比较成熟,清晰度高.维护方便,性价比也还不错,市场需求量较大.但是液晶拼接屏安装方法很多人并不了解,下面小编就来简单介绍一下.以46寸液晶拼接屏指导安装为 ...
- 中raise抛出异常_Python 异常处理知识点汇总,五分钟就能学会 !
异常处理在任何一门编程语言里都是值得关注的一个话题,良好的异常处理可以让你的程序更加健壮,清晰的错误信息更能帮助你快速修复问题.在Python中,和不分高级语言一样,使用了try/except/fin ...
- 【堆内存】动态图+代码五分钟轻松理解学会
2019独角兽企业重金招聘Python工程师标准>>> 前言背景 堆(heap)又被为优先队列(priority queue).尽管名为优先队列,但堆并不是队列. 因为队列中允许的操 ...
- 五分钟让你学会Python网络爬虫
但不管怎样,爬虫技术是无罪的,还是值得我们开发人员去学习了解一下的.在学习之前,我们还是要先了解一下相关概念. 什么是爬虫 网络爬虫:又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动的抓取万维 ...
- 五分钟教你学会FineReport销售财务报表制作
前言 销售是一个企业最大的利润来源,每一个企业都希望实现销售业绩的最大化增长.对于每一个企业来说,销售都是非常重要的一环.对于企业的领导来说,经常关注的就包括销售分析报表,它能分析出目前企业的销售运营 ...
- 陈志武:美国通识教育的精髓在于思辨与表达
陈志武:美国通识教育的精髓在于思辨与表达 01 产业结构难转型,教育有责任 我不是研究教育的专家,但是,这些年看到国内的教育,特别是我自己从小在中国受教育,然后又去了美国,自然有许多观察和体会. 到目 ...
- 转:教育的精髓在于思辨和表达
个人理解:不重成绩,能重什么?每种教育方式都有其时代特点,好与坏兼具 创造力,思辨,表达 专业突出,思维方式僵化.偏执,社交能力差,只能做技术活. -- 做技术不好么? 思辨能力才是核心能力 -- 也 ...
最新文章
- ASP.NET应用程序使用NLog记录日志
- Apache ECharts顺利毕业,成为ASF顶级项目
- NOIP2012:疫情控制(二分、贪心、树上倍增)
- 运行时vs编译时类路径
- 【OS学习笔记】十五 保护模式三:保护模式下的内存访问机制
- 基于Ogre的DeferredShading(延迟渲染)的实现以及应用
- windows server2008服务器文件上传受限制怎么办,windows server 2008 服务器上传限制
- ssis 执行 依赖_从SSIS执行您自己的.NET控制台应用程序
- Django 踩过的坑(二)
- from injection shell sql to_FROM SQL INJECTION TO SHELL: POSTGRESQL EDITION
- 判断数据类型的几种方法
- 2011年浙江计算机二级vfp是什么,2011年计算机二级VFP考试基础教程(21)
- centos 5.6 x86 安装 文泉驿字体
- 详细解说Java 技术的新纪元
- cypress自动化--运行测试用例报告输出
- Inverting Visual Representations with Convolutional Networks论文理解
- 细胞自动机_细胞自动机和音乐
- 提高情商,从这几方面做
- deepin 开启root权限
- 简述计算机五种常见动画及特点。【可拆成多个简答】
热门文章
- 基于libevent和unix domain socket的本地server
- 第三期 OSI七层中第一层 物理层
- 常用API(Object、String、StringBuffer、用户登陆注册)
- deepin开通ssh
- 暑期集训3:几何基础 练习题C: POJ - 1269
- 1.matlab 中的axis tight,legend
- 2018-3-20论文(一种新的群体智能算法--狼群算法)笔记一(引言中提到的的一些智能算法,以及自己的感想)
- 2018-3-5(论文——网络中非结构信息的表示与应用)笔记二 (歧义词,未登录词,禁用词)
- openstack对比其他有什么优点
- java8学习之Lambda表达式深入与流初步