[论文阅读]SofGAN: A Portrait Image Generator with Dynamic Styling

SofGAN能产生效果很好，且能进行编辑的多视角图像。

该模型能控制pose，但其它特征编辑是通过别的论文中的方法实现的（Yujun Shen, Jinjin Gu, Xiaoou Tang, and Bolei Zhou. 2019. Interpreting the latent space
of gans for semantic face editing）

SofGAN的核心是其中的SIW-StyleGAN。SIW-StyleGAN以2D分割图和texture code作为输入，改变2D分割图和texture code就能进行多属性编辑。

这个2D分割图可以来自手动绘制，也可以由shape code自动生成。

总而言之，生成一个图片需要texture code和shape code。

shape code（z_g）决定了3D形状，用于生成3D分割图。
texture code（z_t）决定图像纹理，被用于后续的2D SIW-StyleGAN。

具体来说，z_g采样自 learned Gaussian mixture，然后输入SOF Net产生3D的分割图。SOF Net基于Occupancy Net（NeRF的前身，和NeRF类似，也是把坐标映射为特征）和hypernetwork。有了3D分割图，就可以根据ray marching找到所需角度的2D分割图。

texture code z_t采样自高斯分布，经过一系列mlp mapping后输入后续的生成器。

这里的生成器叫做SIW StyleGAN，结构和StyleGAN2类似。StyleGAN2的输入端是一个51244的learnable constant，而SIW StyleGAN将其换成了前文说的2D分割图，并且在后面所有的style mixing layers，2D分割图都能通过一个pixel-wise的乘法限制style改变的区域（见下图2个图）。这也是为什么SIW StyleGAN能保证很好的 multiview consistency和精准的区域编辑——这一切主要得益于这个spatial mask。而这种区域特征解纠缠是latent space manipulation流派很难做到的。

当然，该模型也有缺点：
（1）就是前面的3D分割图（就是SOF Net）的生成有点复杂，不然可以用于其他数据集。
（2）无法保证pixel-level multiview consistency，只能保证regional-level。
（3）capturing symmetry， structured pattern有一定困难
。。。。。。

有些细节比较奇怪

效果图：

pipeline:
效果挺牛的，可以去原论文看一下图：

[论文阅读]SofGAN: A Portrait Image Generator with Dynamic Styling相关推荐

论文阅读——Deep 3D Portrait from a Single Image（CVPR2020）
摘要 In this paper, we present a learning-based approach for recovering the 3D geometry of human head ...
【论文阅读】ReDoSHunter: A Combined Static and Dynamic Approach for Regular Expression DoS Detection
TODO 引文信息 [1] LI Y, CHEN Z, CAO J, 等. ReDoSHunter: A Combined Static and Dynamic Approach for Regula ...
论文阅读《Direct Sparse Visual-Inertial Odometry Using Dynamic Marginalization》
目录摘要 1 介绍 2 相关工作 3 直接稀疏视惯里程计 3.1 记号 3.2 光度误差 3.3 惯性误差 3.4 IMU初始化与可观性问题 3.5 基于SIM(3)的世界表示 3.6 尺度感知的视 ...
论文阅读：Towards Stable Test-time Adaptation in Dynamic Wild World
今天阅读ICLR 2023 --Towards Stable Test-time Adaptation in Dynamic Wild World Keywords:Test-time adaptat ...
[论文阅读] (06) 万字详解什么是生成对抗网络GAN？经典论文及案例普及
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
StyleGAN-基于样式的生成对抗网络（论文阅读总结）（精）
2 研究背景 NVIDIA在2017年提出的ProGAN解决了生成高分辨率图像(如1024×1024)的问题.ProGAN的关键创新之处在于渐进式训练--从训练分辨率非常低的图像(如4×4)的生成器和 ...
DCP（Deep Closest Point）论文阅读笔记以及详析
DCP论文阅读笔记前言本文中图片仓库位于github,所以如果阅读的时候发现图片加载困难.建议挂个梯子. 作者博客:https://codefmeister.github.io/ 转载前请联系作者 ...
GAN 生成对抗网络论文阅读路线图
路线图按照下面四个准则构建而成: ● 从提纲到细节 ● 从经典到前沿 ● 从通用领域到特定领域 ● 专注于最先进的技术 Generative Adversarial Networks ...
论文阅读：Regularizing Deep Networks with Semantic Data Augmentation
论文阅读:Regularizing Deep Networks with Semantic Data Augmentation 动机特征空间的语义变换 Implicit semantic data ...

[论文阅读]SofGAN: A Portrait Image Generator with Dynamic Styling

[论文阅读]SofGAN: A Portrait Image Generator with Dynamic Styling相关推荐

最新文章

热门文章