博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风
点击上方,选择星标或置顶,不定期资源大放送!
阅读大概需要5分钟
Follow小博主,每天更新前沿干货
转载自:量子位
用GAN(生成对抗网络)制作卡通人物形象的研究,相信大家已见过不少。
但这一次新出炉的AniGAN,可以让你指定任意画风!
只需一张真实人物照片,加上一张你喜欢的画师作品做为参考,就能在保留原照片发型、五官等形状特征的同时,迁移成相应的画风。
拿来做头像是不是很棒?
又双叒叕一款GAN?这次更强!
AniGAN团队认为,之前的二次元人物生成算法有两大问题。
要么不能很好模仿参考图的画风,要么会过于强调保留原始照片的形状,却并不适合二次元人物的风格,造成不符合审美的扭曲与瑕疵。
通过对比可以看出,AniGAN生成的结果在模仿参考图颜色、材质,以及将原始特征转换成适合二次元方面都更出色。
下图使用了更大的数据集,包含更多样的色彩、线条、材质、发型及五官特征。
新的生成器架构
为了在转换形状特征的同时进行风格迁移,AniGAN团队提出了新的生成器架构。
不同于以往使用残差块(Residual Blocks)在生成器的瓶颈层注入风格信息的方法。
AniGAN提出了自适应堆栈卷积块 (Adaptive Stack Convolutional Block)和细粒度风格转移块( Fine-grained Style Transfer Block),以下简称为ASC块和FST块。
ASC块由卷积层、激活层和归一化层组成。
在以往使用残差块时,可能会忽略一些风格信息,如在下面例子中将右眼都错误地生成为棕色。
FST块由上采样层,卷积层和归一化层组成。
风格数据会在上采样层之后而不是瓶颈层注入,负责把局部形状特征也处理成一种风格数据,并转换成对应的二次元形状。
去掉FST块的情况下,生成图像的面部特征并不适应二次元风格。
两种新的归一化函数
以往的AdaLIN归一化函数会将实例归一化(IN)和层归一化(LN)按channel结合在一起,而忽略了channel间的相互关系。因此不能胜任迁移风格同时转换特征的任务。
AniGAN团队提出了点状层实例归一化(point-wise layer instance normalization)和适应性点状层实例归一化( adaptive point-wise layer instance normalization ),以下简称PoLIN和AdaPoLIN。
PoLIN和AdaPoLIN会将所有channel的IN与LN结合在一起。
△从左至右为(a)参考图像,(b)原始照片,(c)-(f)为去掉PoLin或AdaPolin的各种组合的消融实验,(g)为正式效果。
双分支鉴别器(Double-branch Discriminator)
二次元人脸与真实人脸既有很大不同,又都是关于人脸。在研究中称作领域X和领域Y。
双分支鉴别器不仅可以通过卷积层的两个分支处理特定领域的数据分布,还可以处理跨领域共享的数据分布。
双分支鉴别器使生成的二次元人脸减少瑕疵,更加赏心悦目。
另外,该鉴别器也可以在后续研究中轻松扩展成多分支鉴别器(Multi-Branch Discriminator)。
图像质量远超前辈
研究团队使用了Frechet Inception Distance指标来评估生成图像的质量,数值越低代表生成图像越接近参考的二次元图像。
并使用Learned Perceptual Image Patch Similarity来评估生成图像之间的风格差异性,数值越高代表多个生成图像之间越多样。
另外还选取了20位20-35岁的测试者进行A/B测试,询问他们不同算法生成的图像中哪张最符合真实照片的特征以及参考图像的风格,统计结果也是AniGAN得分最高。
作者团队
本论文第一作者李冰,2016年中国科学院博士毕业,现在阿卜杜拉国王科技大学可视计算中心做博士后研究员。
团队其他成员分别来自字节跳动、中国台湾国立清华大学与深圳大学。
参考链接:
[1]https://arxiv.org/abs/2102.12593
重磅!DLer-GAN学习交流群已成立!
大家好,这是DLer-GAN微信交流群!本群旨在学习交流对抗生成学习,小样本学习,图像风格迁移,信息隐藏,图像检索等内容。希望能给大家提供一个更精准的研讨交流平台!!!
进群请备注:研究方向+学校/公司+昵称(如GAN+上交+小明)
???? 长按识别添加,即可进群!
博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风相关推荐
- 二次元老婆生成器,想要什么样的老婆就靠自己勤劳的双手啦
在家里看到一个好玩的项目,想着很多人也是隔离在家,于是便和大家一起分享下,这个项目就是二次元老婆生成器:SofGAN 那想必很多人之前玩过看过各种老婆生成器,那这个二次元老婆生成器,又有什么不一样的呢 ...
- 华人打造二次元老婆生成器!尔康容嬷嬷成萌妹,图像视频都能变 | Demo可玩
杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 当你的女朋友变身二次元,是什么样子? 小声说:没有女朋友. 搞错了,再来! 你下一个二次元老婆,可能是真人生成的! 即便是容嬷嬷本嬷,也能瞬 ...
- 又美又飒!这位985大学小姐姐,堪称今年最强博士后!
点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 转载自:双一流高校 同时斩获2021博新计划+青年基金+博后面上-- 她可能是今年最强 ...
- GitHub趋势榜第一:用小姐姐自拍,生成二次元萌妹子,神情高度还原,反过来也可以...
栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI 如何能让一个小姐姐属于你? 把她变成二次元的人类,就可以解锁一个老婆了. 韩国游戏公司NCSOFT,最近开源了一只技艺精湛的AI. 只要任意 ...
- GitHub趋势榜第一:小姐姐自拍,生成二次元萌妹子
栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI 如何能让一个小姐姐属于你? 把她变成二次元的人类,就可以解锁一个老婆了. 韩国游戏公司NCSOFT,最近开源了一只技艺精湛的AI. 只要任意 ...
- 【有手就会系列】四步通过文字生成二次元小姐姐图片
首先fork项目,启动环境选择16G的A100显卡,直接点击运行加载模型,接着就到了生成小姐姐的时候啦 你需要设置想生成的小姐姐的描述,由于模型是通过英文训练的,所以建议中文翻译成英文输入,填入你想要 ...
- 人工桌面Nova (N0vaDesktop),一款非常可爱的二次元小姐姐主题Windows桌面动态壁纸软件
人工桌面nova (N0vaDesktop)是一款非常可爱的二次元小姐姐主题Windows桌面动态壁纸软件.桌面工具,支持个性化化妆.互动.换装,喜欢二次元主题动态桌面应用的小伙伴千万不要错过哦,可爱 ...
- 太强啦!一个普通摄像头就让二次元老婆“活”了过来!
转载自:量子位 你敢信,这年头只靠一个普通摄像头,就能让二次元老婆实时完成如此灵活的手指舞? 没错,不用穿戴硬件设备,打开电脑摄像头,AI就能让二次元老婆随你实时舞动. 即使没有昂贵传感器加持,摇花手 ...
- 一键让二次元老婆微笑,还能把猫脸变成狗脸,这篇CVPR 论文真有趣
作者 | 杨国兴 编辑 | 陈大鑫 给一行二次元老婆的脸蛋: 下一行就能让她们全部微笑起来: 或者对于铲屎官们来说,把老虎猫变成????,把狗变成狼????,还可以把老虎变成猫: 阿这,等一等,让我来 ...
最新文章
- 初试Android基于Vuforia开发AR
- 算法导论笔记- 二叉查找树问题
- Google IO 谈 AI First,我们却发现了更多
- python动态改变标签的颜色_PyQt4 treewidget 选择改变颜色,并设置可编辑的方法
- Python学习笔记_1_基础_2:数据运算、bytes数据类型、.pyc文件(什么鬼)
- java自带日志等级_JDK日志分级
- Hadoop安装实验报告
- 软件开发的心得体会(一)
- python基础之字典函数(12)
- 欠四大银行信用卡不还,最终会怎么样?
- 基于达索系统3DE平台实现企业数字化转型的场景应用
- 如何将鼠标和键盘连接到PlayStation 4
- CSS calc() 使用指南
- RF-测试中常用函数
- MC/DC覆盖的计算总结
- 云服务器到底是什么?云服务器的优势有哪些
- [软件逆向]实战Mac系统下的软件分析+Mac QQ和微信的防撤回
- 从yield到yield from
- HYSBZ - 1086:王室联邦(树上分块?)
- 如何做好项目工时管理?看这一篇就够了!
热门文章
- CocoaPod出现“target overrides the `OTHER_LDFLAGS`……的解决方案
- 使用PHP顶替JS有趣DOM
- 微软 Windows 10 物联网版系统 IoT 介绍 树莓派2 可以装一下
- np.random.randint 与 np.random.rand区别 前者返回为参数指定的范围区间的一个整数后者返回的为一个概率
- %config InlineBackend.figure_format=svg#矢量图设置
- 你可能不知道的Shell
- 图灵2010.06书讯
- 世界知名XML专家力作 ——《重构HTML:改善Web应用的设计》
- 《Silverlight揭秘》暨《ASP.NET高级程序设计(第2版)》有奖读书笔记征集
- 全景照片不怕歪!Facebook 用神经网络矫正扭曲的地平线