Image translation

2024-05-20 04:35:27

1.《Semantic Image Analogy with a Conditional Single-Image GAN》–ACM MM2020

提出了一个新任务：semantic image analogy. 即给定一个图像image 和其对应mask，以及一个target mask，将原始image 参考 source mask 到 target mask 的变换，转为target image。
具体流程为：首先计算source mask 和 target mask的变换参数，然后通过SFT模块转为image domain，作为condition 送入生成器。
训练过程中变换和重构任务交替进行。loss 主要包括patch coherence loss semantic alignment loss(通过额外训练一个分割网络得到生成转换后图像的mask, 与tartget mask 计算损失，构成cycle闭环）和 gan loss, feature matching loss.

2. 《Lab2Pix: Label-Adaptive Generative Adversarial Network for Unsupervised Image Synthesis》 – ACM MM 2020

以sketch/semantic label maps 作为condition, 通过label Encoder 将其和噪声混合作为生成器输入。采用多尺度生成和判别策略，判别器也用了segmentation网络构成cycle segmentation loss。

3. 《Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach》 --ACM MM2020

通过解析text得到改变的attributes, 然后通过MLP获得AdaIN参数用于生成器的生成新图片。

4. 《MaskGAN: Towards Diverse and Interactive Facial Image Manipulation》

提出了新的训练策略，通过VAE和alpha blender模仿在实际使用过程中对人像的编辑过程，提升网络的泛化能力。

通过Spatial aware style encoder 学习从image 到 mask的变换，转为AdaIN Parameters，送入到Image Generatation Backbone, 将新的mask 转换为新的image。

5. 《PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer》

通过MDNet 解析参考图像的makeup, 通过AMM模块进行参考图像和原图像makeup的融合，包括利用二者人脸的landmarks，距离关系和嘴唇，皮肤等类别关系，后将融合特征返回给MANet的Decoder 生成带有新makeup的image。

6. 《Image-to-image Translation via Hierarchical Style Disentanglement》 --cvpr2021

创新点：

解耦的层级标签思想，使图片转换更加可控
Non-translation, self-translation, cycle-translation 的训练方式

Image translation相关推荐

基于TensorRT优化的Machine Translation
基于TensorRT优化的Machine Translation 机器翻译系统用于将文本从一种语言翻译成另一种语言.递归神经网络(RNN)是机器翻译中最流行的深度学习解决方案之一. TensorRT机 ...
Toward Multimodal Image-to-Image Translation（BicycleGAN）图像一对多转换测试
我们通过精简CycleGAN来实现,以两个域为例,原始CycleGAN需要2个Generator和2个Discriminator,我们不难发现,可以把域转换称condition,这样只需要一个Gene ...
DayDayUp：大学英语六级考试简介、应试分析、题型内容((Writing/Listening/Reading/Translation)、解答经验步骤、解题技巧之最强攻略(建议收藏)
DayDayUp:大学英语六级考试简介.应试分析.题型内容((Writing/Listening/Reading/Translation).解答经验步骤.解题技巧之最强攻略(建议收藏) 简介:大学英语 ...
[mmu/cache]-MMU的地址翻译(Address translation)指令介绍
★★★ 个人博客导读首页-点击此处 ★★★ Address translation system instructions AT指令的语法格式: 有了上面的语法格式后,就非常好理解armv8的MMU提 ...
arm el2与el3_armv8 memory translation
AArch32,arm的32bit架构: AArch64,arm的64bit架构: ARMv8.2-LPA,是armv8.2中的新feature,扩大了IPA和PA的支持范围,从48bit扩展到52b ...
平移不变性：Translation Invariance 与平移同变性：Translation equivariance
在欧几里得几何中,平移是一种几何变换,表示把一幅图像或一个空间中的每一个点在相同方向移动相同距离.比如对图像分类任务来说,图像中的目标不管被移动到图片的哪个位置,得到的结果(标签)应该是相同的,这就是 ...
深度学习中不变性是什么？平移不变性Translation Invariance、旋转/视角不变性Ratation/Viewpoint Invariance、尺度不变性Size、Illumination
文章目录不变性定义不变性分类为什么卷积神经网络具有平移不变性不变性定义意味着即使目标的外观发生了某种变化,但是你依然可以把它识别出来.这对图像分类来说是一种很好的特性,因为我们希望图像中目标 ...
Idea中内置Translation插件报“翻译错误”，解决方式！！！
问题我的编程软件一直是Idea,Idea是我心中YYDS. 使用的版本是2020.4,最近在使用idea内置的Translation翻译插件的时候,一直报翻译失败的错误.一开始以为是我的网络问题,从 ...
ACL 2016 | Modeling Coverage for Neural Machine Translation
ACL 2016 | Modeling Coverage for Neural Machine Translation 原创2016-08-03小S程序媛的日常程序媛的日常今天的 ACL 2016 ...
Translation
代码中经常遇到不认识的英文单词或者句子,很蒙蔽怎么办? Translation是一款非常好用的翻译插件,可以随时随地翻译单词.甚至一段话,从此不再需要额外打开浏览器搜索翻译网站了!

最新文章

热门文章