Adobe把GAN搞成了缝合怪,凭空P出一张1024分辨率全身人像 | CVPR 2022
博雯 发自 凹非寺
量子位 | 公众号 QbitAI
换脸见多了,换身材的见过吗?
给定一张脸,就能自动换一个下半身,服饰、身材、肤色都毫无PS痕迹:
核心技术当然还是我们熟悉的GAN,但不同的是,现在身体的每个部分都能被PS了。
从脸,肤色、服饰、头发等身体各个部位,甚至到肢体动作,都能被随意设计和组合,最终“缝”成一张1024 × 1024分辨率的全身照片:
而且这张“缝合怪”还完全没有拼接行为带来的阴影和边界:
△上方的面部由新方法生成,阴影边界很少
怎么做到的?把用于生成人体不同部位的GAN“拼”起来。
这就是Adobe团队最新提出的一种结合多个预训练的GAN进行图像生成的新方法,论文目前已被CVPR 2022接收:
接下来就一起来看看他们到底是如何实现的。
用PS的方式GAN出个人体
如我们开头所说,这是一种将多个GAN拼接起来使用的方法,研究团队将其称之为InsetGAN。
共分为两类GAN:
全身GAN (Full-Body GAN),基于中等质量的数据进行训练并生成一个人体。
部分GAN,其中包含了多个针对脸部、手、脚等特定部位进行训练的GAN。
这两类GAN的合作方式类似于PS:全身GAN是一张已经有打底线稿的画布,而部分GAN则是一张一张叠在上面的图层。
但不同边界的“图层”在叠到画布上时,一定会有出现对齐问题。
比如,将一张脸添加到身体上时,在肤色的一致性、衣服边界和头发披散的自然性上可能出现细节的扭曲和丢失,或出现伪影(Artifacts):
如何才能更好地协调多个GAN,让它们产生一致的像素呢?
研究团队设计了这样一种架构:
他们首先引入了一个边界框检测器,检测部分GAN生成的特定区域在底层画布,也就是全身GAN生成的区域中的位置,经过裁剪后再将特定区域嵌入。
这一过程相当于找到了两个区域之间的一种随机潜码 (latent code),使得所选区域的边界能够和嵌入区域相匹配,以实现无缝合成。
同时,他们还会对这两个区域进行下采样(Downsample),再次增加图像像素内容的一致性。
基于这种方法,InsetGAN可以在训练后生成多张完整人像,同时肤色、头发和相关姿势都能作出相应调整:
研究团队也与之前的生成全身人像的方法CoModGAN做了比较,都是基于左侧的人体进行面部的替换,显然,InsetGAN生成的面部更加自然:
△上为InsetGAN,下为CoModGAN
作者介绍
论文共有6位作者,5位来自Adobe研究院,还有1位来自阿卜杜拉国王科技大学(KAUST)。
其中有Adobe的首席科学家Jingwan Lu,是PS 2020中智能肖像、皮肤平滑、着色和神经风格化等过滤器的主要算法贡献者,也是RealBrush笔刷合成器的开发者。
她目前领导的团队主要致力于利用大数据和生成性AI(比如GAN)来进行视觉内容的创造。
所以,准备好足不出户换身材了吗?(手动狗头)
论文地址:
https://arxiv.org/abs/2203.07293
参考链接:
[1]https://www.youtube.com/watch?v=YKFYEt5hvOo
[2]http://afruehstueck.github.io/insetgan/
Adobe把GAN搞成了缝合怪,凭空P出一张1024分辨率全身人像 | CVPR 2022相关推荐
- CVPR 2022 | Adobe把GAN搞成了缝合怪!凭空P出一张1024分辨率全身人像
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 博雯 发自 凹非寺 转载自:量子位(QbitAI) 换脸见多了,换身材的见过吗? 给定一张脸,就能自动换一个 ...
- 论文合集 | 李飞飞新论文:深度学习代码搜索综述;Adobe用GAN生成动画(附地址)...
来源:机器之心 本文约3200字,建议阅读7分钟. 本文介绍了李飞飞新论文,深度学习代码搜索综述,Adobe用GAN生成动画. 本周有李飞飞.朱玉可等的图像因果推理和吴恩达等的 NGBoost 新论文 ...
- php 导致服务器成肉鸡,把我的服务器搞成了ddos肉鸡,如何解决?
把我的服务器搞成了ddos肉鸡,如何解决? (2012-04-11 04:29:58) 标签: 服务器 ddos 如何 杂谈 把我的服务器搞成了ddos肉鸡,如何解决?我的服务器是centos 5.2 ...
- adobe 发布 flash 转换成 html5 工具 代号wallaby(沙袋鼠)-as3-javaeye技术网站
adobe 发布 flash 转换成 html5 工具 代号wallaby(沙袋鼠)-as3-javaeye技术网站 2011年03月01日 Adobe 今日 发布了Flash 到 HTML5的一键转 ...
- CVPR 2022 | 阿里达摩院新技术,美体塑形一键就成
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 来源丨人脸人体重建 亚洲 四 大 "邪 术",想必大家都早已耳闻 亚 洲 四 大 ...
- CVPR 2022|处理速度仅用0.2秒!港科大腾讯AI lab开源基于GAN反演的高保真图像编辑算法...
作者丨Tengfei Wang 来源丨港科大.腾讯 AI Lab 编辑丨极市平台 论文:https://arxiv.org/abs/2109.06590 代码:https://github.com/T ...
- CVPR 2022论文分享会来了!ResNet/Swin/DenseNet等作者重磅嘉宾探讨好论文是怎么炼成的?...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 4 月 23 日,CVPR 2022 论文分享会等你准时线上赴约!为了让更多感兴趣的朋友参与到精彩的分享会中 ...
- 从一个量分别和两个量成正比,怎么推理出和他们乘积成正比?
从一个量分别和两个量成正比,怎么推理出和他们乘积成正比? 以前初中物理课,老师经常这么说. 总是有疑问,为什么.但是一闪而过.今天搞清楚了. k 是一个变量, k1是系数 同理 c c1 同上 ...
- 好像还挺好玩的GAN重制版4——Pytorch搭建SRGAN平台进行图片超分辨率提升
好像还挺好玩的GAN重制版4--Pytorch搭建SRGAN平台进行图片超分辨率提升 学习前言 源码下载地址 网络构建 一.什么是SRGAN 二.生成网络的构建 三.判别网络的构建 训练思路 一.判别 ...
最新文章
- 几种和边框相关的CSS样式修改
- 爆火的博士论文致谢,“炸”出了一批同行者,刚刚本人回应:祝愿大家努力终有所成!...
- 怎么查看自己电脑的配置_怎么查看自己网卡是千兆网卡还是百兆网卡
- TokuDB介绍——本质是分形树(一个叶子4MB)+缓存减少写操作
- Logstash完成ELK集群
- java中multiply用法_java中BigDecimal加减乘除基本用法
- 找出最大值和最小值(算法导论第三版9.1-2)
- activemq端口好_ActiveMQ已准备好黄金时段
- 计算机指令取决,不同的计算机,其指令不同,这主要取决于什么?
- select默认下拉箭头改变、option样式清除
- PHP CodeBase: 求最近一个周一和上周一的日期
- java : JSR107缓存规范
- PyTorch出现错误“RuntimeError: Found dtype Double but expected Float”
- 灰度共生矩阵GLCM及其matlab实现
- 计算机在线考试摘要,基于WEB的网络在线考试系统-毕业论文中文摘要题目(可编辑).doc...
- 04.Unity ShaderGraph序列(Lightweight Pipeline相关扫盲)
- pyautogui 语法记录+休闲辅助工具实现-2021.12.15
- appium之toast处理
- 什么是鱼骨分析法(N Why)?
- 什么是敏捷BI?和传统BI有什么不同?