一招生成定制版二次元人脸头像,还能“模仿”你的表情!
作者 | Pramook Khungurn
整理 | Jane、刘畅
出品 | AI科技大本营
最近,日本一位酷爱 Vtubers的粉丝结合了此前发表的多项 GAN 工作制作了两个动漫人物生成器的工具,这两个工具一个可以帮助广大动漫迷们快速、轻松的生成带有不同姿态的动漫人物形象,另一个可以帮助大家把真人脸表情移植到动漫人物上,以后你也可以定制你的“动漫Twins姐妹 / 兄弟”了。
作者不仅是一个资深 Vtubers 迷,对深度学习技术也很关注,也是在这两个兴趣共同激发下,促使了这两个工具:一个是基于单图就能生成动态动漫人物形象;第二个工具基于第一个工具,输入的单图改造,通过摄像头获取实时人脸图像的姿态特征赋予给动漫人物形象中。
人工智能技术是动漫创作的重要工具之一,作为一名深度学习调参师的自觉性,要了解这项工作的效果和方法,自然要赶紧学起来。
效果展示
copy 你的一颦一笑,不在话下。这两个工具是怎么做到的?我们先来看看最终成果的展示视频。
首先是第一个工具:基于GUI的单图动漫人脸表情生成器。
基于这一个工作的成功方法,作者还在这个系统中加入了人脸表情检测功能。这个动漫角色就可以实时模仿人脸的表情了。通过改变输入,用摄像头获取的人脸姿态表情特征,输入后让动漫人物 Get 到人脸表情同款:
有了第二个工作,作者也尝试把输入换成一段视频,当然方法同样奏效。
这么有意思、卡哇伊的工作是怎么做到的?下面我们会介绍一下模型、数据这两大方面的方法,但是在整个工作中,还涉及如何标注数据、图像数据处理规范、采样与渲染等诸多细节工作的处理,我们无法一一讲到,但是作者本人进行了详细的说明与介绍,大家可以仔细阅读项目。
项目地址:
https://pkhungurn.github.io/talking-head-anime/
方法介绍
(1)输入和输出
大家在上面的视频中可以看到,界面左侧表示的是输入的单幅动漫人物图像,中间罗列了 6 种姿态调节栏,每种姿态有一定的设置范围,可以多种姿态叠加使用,而右侧图像中则直接输出生成的效果图像。即整个工作只需要输入一张动漫脸和一个姿态(如一种表情),系统就可以在另一张背景中输出给定姿态的动漫脸。
(输入与输出)
(2)实现的主要两个环节
如何生成效果?这就是模型解决的问题,通过改变面部表情和控制表情幅度(眼睛或嘴巴的张开程度)来设计「面部表情」(Face morpher)与「面部旋转器」(Face rotator)两个独立模型。
(“两步走”系统)
(3)具体模型和方法
(模型总图)
近年来,GAN 在面部表情合成的诸多任务中都取得令人惊喜和和印象深刻的工作。2017 年,StarGAN 提出后,我们可以轻松调整图像中的发色、肌理、肤色、合成有趣的表情,随后,一种基于动作单元(AU)的新 GAN 模型——GANimation 被提出,在无监督训练后,只需要控制 AU 的激活程度,并选取几个 AU 进行组合,模型就可以生成表情转换,效果也很生动形象。
而这个系统中的「面部表情」模型就是基于 GANimation 模型设计的。那「面部旋转器」是如何做的呢?作者将 GANimation 模型与发表于 ECCV 2016 上一篇关于光流法的工作《View Synthesis by Appearance Flow》方法进行融合,第一步网络的输出是第二步网络的输入。
什么是光流法?光流是对物理世界中物体上各点实际运动速度的估计,解决这一光流估计问题的计算方法称为光流法。在《View Synthesis by Appearance Flow》工作中,主要解决的任务是根据输入图片中物体或场景的视角生成另一个视角的物体或场景,就好比当我们看到一个物体时,我们的大脑中也能想象出这个物体旋转后的样子。
《View Synthesis by Appearance Flow》
如果想了解更多这两篇论文,下面的地址用得上:
(1)关于 GANimation 模型,可阅读论文:
https://www.albertpumarola.com/research/GANimation/index.html
(2)《View Synthesis by Appearance Flow》
https://arxiv.org/pdf/1605.03557.pdf
貌似有了上面的介绍,如果我们想做这个项目,似乎还少了点什么?对,数据集。
(4)数据集
虽然现在有很多卡通、动漫人物,但是想要实现一些“动起来”的效果,如果只是我们下载的 2D 平面图像,肯定会影响效果,如果是 3D 的数据,肯定是最好不过了。
对角色进行 3D 建模,无论是人力还是物力成本都非常昂贵。为此,作者专门创建了一个新的数据集。作者从 MikuMikuDance 上下载了约 8000 个 3D 动画模型。并将数据集分成了三部分:训练集、验证集与测试集。
MikuMikuDance,简称 MMD,是一个免费的动画程序,可让用户制作动画并创建3D动画模型。
作者详细介绍了如何一步一步生成数据,如何训练Face Morpher的网络,如何融合两种算法造出了Face Rotator网络,并在最后给出了主观和客观的结果对比,为这位日本小哥严谨的学术态度点赞。
总结
该系统仅输入一张2D图像,便可以旋转、改变该图像的面部表情。不需要创建3D模型就可以实现会说话的动态动漫人物,大大降低了动画制作的成本,而且该系统易于使用。不过,未来还有可以继续 working on 的方向,如:
1、操纵自然场景下的动漫图像;
2、修复现有模型带来的模糊、伪影等视觉效果;
3、支持多种嘴、眼睛、眉毛的变化,使效果更逼真;
4、从绘画图里面推断2.5D层模型或3D模型。
项目地址:
https://pkhungurn.github.io/talking-head-anime/
【End】
一套讲解带你入门人工智能
https://edu.csdn.net/topic/ai30?utm_source=csdn_bw
热 文 推 荐
物联网大变局:LoRa 正式获批!
☞C++控制台打飞机小游戏 | CSDN 博文精选
Twitter 有权删除去世用户的账号吗?
☞我收集了12款自动生成器,无聊人士自娱自乐专用
☞阿里程序员常用的 15 款开发者工具
☞苹果公司 50% 员工没大学学历,细数不看学历看能力的 IT 大佬!
点击阅读原文,即刻参加活动!
你点的每个“在看”,我都认真当成了喜欢
一招生成定制版二次元人脸头像,还能“模仿”你的表情!相关推荐
- 一张图生成定制版二次元人脸头像,还能“模仿”你的表情
作者 | Pramook Khungurn 整理 | Jane.刘畅 出品 | AI科技大本营(ID:rgznai100) [导读]最近,日本一位酷爱 Vtubers的粉丝结合了此前发表的多项 GAN ...
- 【杂谈】有三AI限量定制版书签来了,你准备好入手了吗?
眼看着上半年就要结束了,6月份有三出了一本新书,在上半年的尾巴时间节点给大家带来了少量与书配套的文化产品,定制版"有三AI书签",供有收藏需求的同学自取,下面请听介绍. 定制版书签 ...
- 售价超16万,全球仅限8台!iPhone 13 Pro冬奥会定制版上架,18K黄金打造
近日,北京冬奥会定制的iPhone 13 Pro上架的消息引发网友们的关注.据悉在2月4日20:00北京冬奥会正式开幕,而在这一特殊时刻,知名珠宝商Caviar用18K黄金打造了iPhone 13.i ...
- 4月1日见!小米9王源定制版官宣:透明版背壳加持
前两天,小米手机官微曾放出一张预热海报,表示"4月1日,源力来袭",疑似王源定制版的小米9即将到来.现在有最新消息,小米手机官微今日放出了小米手机品牌代言人王源的最新海报,海报中一 ...
- NSIS:迅雷5.8.6.600自由定制版脚本及下载
原文 NSIS:迅雷5.8.6.600自由定制版脚本及下载 虽然现在迅雷已升级到7.2版本,但作为一款下载工具,我们可能只是需要它的下载功能,所以,体积小资源占用也小的迅雷5便成了我们更好的选择.今天 ...
- 制作全集成定制版Office2007安装包
一.集成Visio2007和Project2007 首先用UltraISO解压开Office2007.Visio2007.Project2007的ISO镜像文件到硬盘任意目录,我这里用的是Office ...
- zip直链生成网站_手把手教你如何用飞桨自动生成二次元人物头像
[飞桨开发者说]李思佑,昆明理工大学信息与计算科学大四本科生:2018年和2019年两次获得全国大学生数学建模比赛国家二等奖:2020年美国数学建模比赛获M奖.指导老师:昆明理工大学理学院朱志宁想画出 ...
- Cartographer + Navigation 建图导航(个人定制版)
文章目录 一.建图 二.修图 三.导航 四.仿真 实时建图链接:Cartographer实时建图(个人定制版) 一.建图 1.启动机器人 roslaunch lp_robot lp_robot.lau ...
- python123测试3平方根格式化_Python3常用系统函数帅哥定制版
Python3常用系统函数JSON帅哥定制版 没错,这里的帅哥指的就是我自己 安装 安装pip3 wget --no-check-certificate https://pypi.python.org ...
最新文章
- 去掉星空极速,开通ADSL路由
- 人脸识别登上Nature封面!看脸的世界,AI却心怀偏见
- Toast的基本用法 吐司打印
- 哈希算法python_哈希算法(Python代码实现)
- 计算机是怎样知道屏幕位置的,如何看自己的电脑显示器是多少寸
- [目录]Linux 核心系统命令目录
- sqlserver 库服务器导数据
- c#读取整数空格_C ++程序声明,读取和打印动态整数数组
- Python排序算法总结
- vue.js项目中,关于element-ui完整引入、按需引入的介绍
- 【模糊神经网络】基于matlab的模糊神经网络仿真
- 圆柱体积怎么算立方公式_圆柱体积计算公式 计算方法及例题
- DLP迈向NG DLP的进化之路
- 红楼梦诗词全集---留一份吧,太珍贵了!!
- 谈个人价值观与企业价值观(2014年收官之作,值得深思)
- MySQL8.0零基础入门
- android tv github,GitHub - dongbingliu/Android-tv-widget: Android tv,盒子,投影仪 控件
- 深度学习机器学习面试题(理论基础)
- 智能合约在衍生品上的应用_5种衍生品在您的机器学习面试中表现出色
- 一文看懂苹果WWDC20:iOS 14更好玩,可Intel要哭瞎了
热门文章
- ASP.NET服务器控件对应的HTML标签
- [记录]明天开始东软实训
- [FFmpeg] nvidia 加速 ffmpeg
- QSrcollBar样式表设置
- python while循环例题_【学习笔记】python:5for循环与while循环(上)
- resolving xxx failed: Temporary failure in name resolution解决
- python os write_Python os.write() 方法
- scrolling=no 无法根据坐标获取元素_三坐标测量仪类型
- Flutter游戏:简单规则与结束页
- Flutter布局锦囊---蜡笔画的表单