深度学习三巨头也成了大眼萌,这个一键转换动画电影形象的网站「太火」了...
点击 机器学习算法与Python学习 ,选择加星标
精彩内容不迷路
本文来自机器之心
前不久,喜欢研究生成艺术的 Justin Pinkney 和 Doron Adler 创建了网站 Toonify Yourself!,只需上传真人图像,就能一键生成动画形象,就像刚从迪士尼 / 皮克斯 / 梦工厂的动画电影中走出来一样。例如:
宫崎骏老爷爷也有自己的动画形象了!戴着眼镜的样子是不是与《飞屋环游记》里的老爷爷有点神似?
「史皇」威尔 · 史密斯也不例外,硬汉也有「可爱」的一面。
华裔女演员杨紫琼的动画形象逼真复刻了真人头像,头发丝儿、脸上的纹路都很一致。
甚至还有深度学习三巨头 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio:
从以上示例中我们可以看出,该网站提供的动画形象尽量逼真地反映了原始人脸图像的特征,同时也具备动画形象的一些典型特征,比如大眼睛。
这一效果的实现依赖于哪些方法呢?Justin Pinkney 在博客中介绍了背后的技术。
如何制作逼真的卡通模型
这背后发生了什么呢?Justin 简要解释了这一混合网络背后的复杂过程。
迁移学习
首先是经典的 StyleGAN 模型。StyleGAN2 代码和论文的发布,带来了非常高质量的生成结果。
然而,并不是每个人都拥有多个 GPU 和数周时间来训练一个模型,因此我们需要一种捷径——迁移学习,研究人员采用「预训练模型」,并在新数据上进行训练。采用这种方法可以快速得到较好的结果,如果新的数据集中有人脸数据,效果会更好。
Doron Adler 基于动漫电影不同角色构成的数据集对人脸模型进行了微调。虽然数据集只有大约 300 张图片,但这足以让模型开始学习这些角色的典型特征。
只要对模型进行了一点点训练,它就会给出如下输出:
在一个小数据集上进行如此少量的训练,其输出结果仍然是可以的,这说明模型显然可以很好地理解「大眼睛」这件事。然而仍然存在一些问题,例如数据集中的图像风格有点混乱,有些是 CG 图像,有些是手绘图像,还有很多分辨率很低。模型试图复制所有这些图像风格,结果却变得更糟。
混合模型
由于该模型是在原始人脸模型的基础上进行微调得到的,所以我们可以利用一种技巧直接互换模型的各个部分。这很有趣,因为根据 StyleGAN 的结构,模型中的不同层能够以不同的方式影响生成人物外观。低分辨率层决定头部姿态和人脸形状,高分辨率层则控制光线和纹理等细节。
所以,Doron 使用 Layer Swapping 脚本从原始模型中提取高分辨率层,并从微调卡通模型中提取低分辨率层,最终得到了具有卡通人脸结构且具备照片级逼真渲染效果的混合卡通模型。
在使用原始人脸模型和混合卡通模型生成图像时,可以看到两者之间存在明显的关联,人物的身份保持不变,但是生成的图像已经具备了典型的卡通形象特征。
生成自己的动画形象
StyleGAN 人脸模型可以生成大量人脸图像,也就是说你可能从中找出任何人脸图像。所以,给定一个你想要生成卡通形象的示例图像,则可以得到一个「代码」(或称潜在向量),即将它输入到模型中,将会得到一个与示例图像几乎完全相同的输出图像。如下图所示,左边为原始图像,右边为生成图像,两者很难区分。
现在有了表示人脸的「代码」,你可以将它输入到混合模型中。鉴于「代码」与原始图像非常相似,模型将输出相同的人脸,只不过是「卡通」形象版本!
用户可以使用以下 Colab notebook 来复现这一过程。
Colab notebook 地址:
https://colab.research.google.com/drive/1s2XPNMwf6HDhrJ1FMwlW1jl-eQ2-_tlk?usp=sharing
关于 Toonify Yourself! 原理的更多详情,请戳以下视频:
网友都说好,但因服务器成本过高已下线
对于这个能够生成真人逼真动画电影形象的网站,网友予以高度评价,并纷纷尝试创建属于自己的动画电影形象。
网站地址:https://toonify.justinpinkney.com/
-
你点的每个“在看”,我都认真当成了AI
深度学习三巨头也成了大眼萌,这个一键转换动画电影形象的网站「太火」了...相关推荐
- 深度学习三巨头也成了大眼萌,这个一键转换动画电影形象的网站竟因「太火」而下线...
机器之心报道 作者:魔王.杜伟 想不想在动画电影中拥有自己的角色?这个网站一键满足你的需求,不过竟因流量太大成本过高而下线. 近期热映的电影<花木兰>总是让人回想起 1998 年上映的同名 ...
- 2020届 AAAI Fellow名单新鲜出炉!!!深度学习三巨头终于齐聚
点击上方"深度学习技术前沿",选择"星标"公众号 资源干货,第一时间送达 AAAI 是国际人工智能领域最权威的学术组织,Fellow 是该学会给予会员的最高荣誉 ...
- 深度学习“三巨头”、图灵奖得主 Yann LeCun:我没有天赋,所以才追随聪明人...
Yann LeCun 作者 | 胡巍巍 出品 | 程序人生(ID:coder_life) "彻头彻尾的骗局." 2018年初,历史上首个获得公民身份的机器人索菲亚,又是上节目,又是 ...
- 深度学习三巨头共获 2018 年图灵奖(经典重温)!
整理 | 琥珀 出品 | AI科技大本营(ID:rgznai100) 2019 年 3 月 27 日,ACM 宣布,深度学习三位大牛 Yoshua Bengio.Yann LeCun.Geoffrey ...
- 图灵奖颁给深度学习三巨头,他们曾是一小撮顽固的“蠢货”
栗子 安妮 乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI 深度学习三巨头成为新晋图灵奖得主! ACM刚刚官宣,Yoshua Bengio.Geoffrey Hinton.Yann Le ...
- 昨日种种已得奖,那深度学习三巨头今天在忙什么?
上周,AI圈最大的事情,没有之一,就是图灵奖,终于终于,终于颁给了深度学习三巨头. 关于Geoffrey Hinton和他的两位学生Yoshua Bengio.Yann LeCun的故事,在消息出来后 ...
- 深度学习还没入门?看看深度学习三巨头的Deep Learning综述(4)
深度学习还没入门?看看深度学习三巨头的Deep Learning综述(1) 深度学习还没入门?看看深度学习三巨头的Deep Learning综述(2) 深度学习还没入门?看看深度学习三巨头的Deep ...
- 深度学习还没入门?看看深度学习三巨头的Deep Learning综述(1)
深度学习还没入门?看看深度学习三巨头的Deep Learning综述(1) 深度学习还没入门?看看深度学习三巨头的Deep Learning综述(2) 深度学习还没入门?看看深度学习三巨头的Deep ...
- 深度学习“三巨头”、图灵奖得主 Yann LeCun:我没有天赋,所以才追随聪明人
作者 | 胡巍巍 出品 | 程序人生(ID:coder_life) "彻头彻尾的骗局." 2018年初,历史上首个获得公民身份的机器人索菲亚,又是上节目,又是去联合国演讲,可谓红得 ...
- 实至名归!ACM宣布深度学习三巨头共同获得图灵奖
昨日晚间,ACM(国际计算机学会)宣布,有"深度学习三巨头"之称的Yoshua Bengio.Yann LeCun.Geoffrey Hinton共同获得了2018年的图灵奖,这是 ...
最新文章
- 清华大学软件定义芯片团队的高能效量化卷积神经网络加速芯片入选固态电路顶级会议ISSCC 2021...
- plsql连接oracle报错12514,plsql 登录 oracle11 12514 错误的处理方法
- 3_8 StateMode 状态模式
- URAL 1036 Lucky Tickets
- C语言中fgetc函数返回值为什么是int?
- 【lucene】lucene查询操作
- Elasticsearch+elasticsearch-head的安装+Kibana环境搭建+ik分词器安装
- python爬微信头像_使用python itchat包爬取微信好友头像形成矩形头像集的方法
- String.Format用法
- 编译内核_Linux内核编译(自己实现的网卡上面测试c1000k案例)
- FlightGear Flight Simulator
- Recovery启动流程(1)--- 应用层到开机进入recovery详解
- Linux从删库到跑路的命令,从删库到跑路——重写 rm -rf
- w7设置双显示器_4K+144Hz 支持FreeSync Acer XV273K显示器评测
- 快手主播怎么引流?直播带货将面向多样化发展
- phpstorm设置 打开文件所在目录_在根目录中配置文件夹
- Word图文混排的“ 锚 “
- Python编程实现数字图像的网络爬虫
- win7计算机左边桌面选项没,win7系统桌面左下角开始菜单不见了的解决方法
- java中shutdownoutput_Java Socket shutdownOutput和shutdownInput是否为“Duplicate ACK#:1”
热门文章
- Linux之磁盘与文件系统管理
- exlc表格怎么换行_excel表格怎么换行_excel表格怎么换行上下换行
- 02、江苏专转本(专业课笔记)第二章、计算机的组成原理
- 《数据清洗》 第六章 数据转换
- 2022腾讯实习生移动客户端开发一面(IEG)
- 电路设计_继电器的电磁干扰
- liu系统的混沌特性及其matlab仿真,Liu系统的混沌特性及其Matlab仿真
- Spark之火可以燎原——访Spark亚太研究院院长、首席专家王家林
- xmarks 又可以使用了. 太棒了
- 【Python实用工具】暴力破解-1!Python编写四位数密码本