style transfer/domain adaption简介
style transfer和domain adaption还是有很多相似之处的,本文挑选几篇文章进行简略介绍
Texture Synthesis Using Convolutional Neural Networks
从噪音开始合成纹理,用L2约束合成图与目标图的gram矩阵,通过梯度反传一步一步合成纹理。
Image Style Transfer Using Convolutional Neural Networks 16年cvpr
和A neural algorithm of artistic style. 15年8月一样的吧
利用DNN进行style transfer的开篇之作,也是上一篇Texture Synthesis的扩展,Texture Synthesis只有style(纹理),这一篇再加上content。
做法:送入一张噪音图片,然后通过content和style loss约束,梯度下降更改输入使其content和内容图片一致,style和样式图片一致。
缺点:每次生成图片,都要经历这样一个训练过程,太慢了
Perceptual Losses for Real-Time Style Transfer and Super-Resolution
融合两派好处
- 做超分那一派,图像生成问题(Feed-forward image transformation),原图-》增强图,后面有pixel loss监督
- style transfer这一派,用perceptual loss但是当成了优化问题,速度慢
前向图像生成且用perceptual loss,速度快效果好,消除了上一篇那种看成优化问题每次都要重新训练的缺点。
Texture Networks: Feed-forward Synthesis of Textures and Stylized Images
与上一篇异曲同工,都是用生成的方式来做风格化
Ada BN
Adaptive Batch Normalization for practical domain
本文有个假设:
We hypothesize that the label related knowledge is stored in the weight matrix of each layer, whereas domain related knowledge is represented by the statistics of the BN.
翻译就是:标注知识存储在学习好的各层参数中,而各个域的特性是由各层参数的统计量里如BN的统计量。
正常的BN是每个batch减自己batch的均值除自己batch的方差,然后再维护一个running mean和running var用于test时用。即训练时每个batch只管自己,而test的mean var是融合了整个数据库的。
Adaptive BN是在源域上正常用BN训练,但是在目标域test前,需要先将已有的所有目标域图片送入网络进行一次前传,统计出一个running mean和running var,然后将这个mean和var用于目标域的test
Ada IN
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
本文做法很简单:
AdaIN simply adjusts the mean and variance of the content input to match those of the style input. 换句话就是我们只需要把content图像在encoder后输出的均值和方差归一到style图像就行。(我还做了一点小实验,随意扰动mean var的顺序(本来是按channel算好的),可以得到不同的transfer结果,从结果中可以看到扰动mean影响大扰动var影响小,mean更多地代表着风格,而var则是细节的一些变化)
AutoDIAL
AutoDIAL: Automatic DomaIn Alignment Layers
adabn没有见过target 图片,target不能参与训练
AutoDIAL:训练时送入source和target,然后分别统计source和target的mean和std,更新时用
两者有个alpha融合,然后source利用label进行监督更新网络,target不能学习但是照样跟着更新bn的参数。
test时,只有target了,bn就用训练时统计的参数
- 谈谈图像的Style Transfer(一)
style transfer/domain adaption简介相关推荐
- 科研速记(2):ICCV19-Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff
Zeros Paper:Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff in Single ...
- 论文笔记-Real-Time MDE using Synthetic Data with Domain Adaptation via Image Style Transfer
论文信息 标题: Real-Time Monocular Depth Estimation using Synthetic Data with Domain Adaptation via Image ...
- Domain Adaption 领域自适应
定义(from Wiki): Domain Adaption是transfer leanring(迁移学习)中很重要的一项内容.主要目的是将具有不同分布的(data distribution)的具有标 ...
- 转载:domain adaption
有一篇论文([cvpr2017]Joint Geometrical and Statistical Alignment for Visual Domain Adaptation )对Domain Ad ...
- Understanding unsupervised domain adaption
理解无监督域适应方法: https://zhuanlan.zhihu.com/p/27903002 Deep Domain Confusion: Maximizing for Domain Invar ...
- MPDA:基于Domain Adaption的V2X协同感知(3D目标检测)
标签:Domain gap:CP without sharing the model information:Intermediate Fusion:3D Object Detection: 论文标题 ...
- Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer
cvpr2022 code and paper 背景 现有的stylegan finetuning的人物风格化方法,基本上是将source domain变换到target domain,这要求targ ...
- 【翻译】In the light of feature distributions: moment matching for Neural Style Transfer
根据特征分布:神经风格迁移的矩匹配 文章目录 Abstract 1. 绪论 2. 相关工作 3. 办法 3.1. 神经风格转移 3.2. Style as feature distribution 3 ...
- Deep Photo Style Transfer
深度卷积神经网络图像风格变换2017.4 Deep Photo Style Transfer 参考博客:https://blog.csdn.net/VictoriaW/article/details/ ...
最新文章
- 用了 HTTPS 就一定安全吗?HTTPS 原理分析——带着疑问层层深入
- 遇到虚拟系统内存问题怎么办?Hypervisor帮你除bug
- python的QT5:如何用QT5实现菜单
- 重磅!深度学习圣经“花书”核心笔记、代码发布
- java实现语法分析器_语法分析 | 语法分析的任务
- 贪心算法之最小堆实现霍夫曼编码
- oracle 管道通信,oracle管道化表函数
- 阿里巴巴消息中间件: Spring Cloud Stream
- C++|Qt最简单的http的get请求
- Python 查看pip安装的包的位置(查看pip安装包的路径)
- Koa v2.x 中文文档 上下文(Context)
- Drools规则引擎
- linux xbrowser 安装包,xmanager安装包
- 如何彻底关闭UAC----之注册表篇
- (1)电源管理-S3C2440芯片电源管理模块解析
- 服务器的ras性能指标,Memory RAS Configuration
- python画彩虹代码_python绘制彩虹图
- 送 10 本签名书!
- 2020-08-13 图像处理入门软件应该怎么选?Opencv matlab 和Python
- 【DB笔试面试622】在Oracle中,说说COUNT(*)计算行数有哪些优化手段?