CoGAN 和 SeGAN
CoGAN 和 SeGAN
Lancer 2017.4.1
IMT Lab in XMU
这篇博文会是我对日常读过的比较有意思的文章的一个小结。更多的像导读/知识点小回顾,没有精力写太多技术细节,若对文章感兴趣,我对每篇文章都会附上arxiv链接,欢迎交流讨论。我的新浪微博:lancerlian 其他的联系方式自己挖掘哈!
文章列表
【2017.03.23】 ▒▒ CoGAN: Coupled generative adversarial networks, Ming-Yu Liu et al
【2017.04.01】 ▒▒ SeGAN: Segmenting and Generating the Invisible, Ehsani et al
【2017.03.23】 ▒▒ CoGAN: Coupled generative adversarial networks
这篇文章是NIPS 2016中涌现出来的众多GAN的模型改进和应用文章中的一篇。这篇文章吸引我的地方在于效果不错,而且跨域样本生成也蛮有意义的。文章链接: arxiv,
P.S. : 这篇文章的代码开源了。链接如下: [caffe版本](https://github.com/mingyuliutw/cogan
) , [tensorflow版本](https://github.com/andrewliao11/CoGAN-tensorflow
)。 开源的代码能够跑一跑MNIST数据集。
再P.S. : Ian Goodfellow大神(生成对抗网络GAN的提出者,青年才俊)在NIPS 2016做了个关于GAN的Tutorial,相当优秀。链接如下:tutorial, slides 值得一看。
1. 摘要:
2. 主要工作:
作者利用两个通过权值共享耦合的GAN网络,生成跨域样本。举个例子,输入一堆正常人脸和一堆戴眼镜的人脸,会生成长得一样的 with or without glasses 的人脸。这个模型可以用在很多不同的地方,具体的自己挖掘咯~不细讲。
3. 模型设计:
将两个GAN网络通过权值共享耦合起来。其中,生成器共享低层的几层权值,判别器共享高层的几层权值。
4. 原理分析:
优化目标:和GAN的min-max优化函数类似,只是变成了两个GAN网络耦合后的函数。
训练阶段: GAN1 和 GAN2 分别输入两个域的样本。两域之间不需要相关。以戴眼镜人脸举例来说即:两个训练输入不需要是同一个人w/o眼镜的样本。如下图所示。
测试阶段 : 两个GAN的G输入一样的满足一定分布(如高斯分布)的随机噪声。
权值共享 : 生成器网络采用类似DCGAN的模型,与CNN不同的是采用了DeConv,这里我的理解是CNN的Conv是downsampling, GAN中G的Conv是upsampling,即放大图像,并非进行卷积的反运算,而是通过修改padding、stride等参数来实现upsampling. 举例如下2图。因此, 在生成器阶段,G与传统CNN是相反的。头几层解码的是高层语义信息,最后解码的是底层纹理信息; 在判别器阶段,D与传统CNN则类似,低层解码底层纹理信息,高层解码高层语义信息。因此,通过共享生成器的头几层的权值,可以保证生成的两个域的数据在高层语义特征上类似,比如人脸长得一样。而高层不共享,则保证了两个域间有各自的特征,比如戴不戴眼镜。而作者通过实验证明,判别器的权值共享对性能影响不大,最大的作用是减少参数。
5. 一些实验结果
作者show了一些生成的样本,并与Conditional-GAN进行了比较。实验证明,Conditional-GAN在生成跨域样本时效果不好。两个域之间关联性很弱。
6. 其他应用场景
除了MNIST,人脸(CelebA dataset),作者还在RBGD、室内3D数据集等场景进行了实验。不细说。
【2017.4.1】 ▒▒ SeGAN: Segmenting and Generating the Invisible
文章链接: arxiv
摘要:
主要工作:图片中的物体的被遮挡部分对于后续的detection和analysis是重要的信息。作者通过一个segmentor + generator + discriminator来生成物体包括被遮挡部分的Mask,并生成被遮挡部分的可能图像。最终目的:补全图像中物体被遮挡的部分。主要分为如下两部分:
将物体不可见的部分分割出来,得到一个物体整体的Mask;
利用GAN生成不可见的部分的图像。
模型的输入是图像以及每个物体可见部分的mask.
CoGAN 和 SeGAN相关推荐
- 波特兰:特别奖金3月PADNUG与Adam Cogan会面
All the way from Australia, Adam Cogan will be joining us for a very special BONUS PADNUG presentati ...
- 2020 ACL《CoGAN》- Aspect Sentiment Classification with Document-level Sentiment Preference Modeling
2020 ACL <CoGAN>-Aspect Sentiment Classification with Document-level Sentiment Preference Mode ...
- Generative Adversarial Networks(CGAN、CycleGAN、CoGAN)
很久前整理了GAN和DCGAN,主要是GAN的基本原理和训练方法,以及DCGAN在图像上的应用,模式崩溃问题等.其核心思想就是通过训练两个神经网络,一个用来生成数据,另一个用于在假数据中分类出真数据, ...
- Segan : Speech Enhancement Generative Adversarial Network
语音增强生成对抗网络 目前的语音增强技术是在频谱域上进行操作和/或利用一些更高级的特征.它们中的大多数处理有限数量的噪声条件,并依赖一阶统计.为了避免这些问题,由于能够从大型示例集中学习复杂的函数,深 ...
- SEGAN: Speech Enhancement Generative Adversarial Network
论文原文地址, 目录 摘要 一.引言 二.Generative Adversarial Networks 三.Speech Enhancement GAN 四.实验步骤 4.1 数据集 4.2 SEG ...
- CoGAN pytorch
章的思想是,利用网络层的权重共享约束,训练GAN网络.模型包括两个生成网络,两个判别网络, 训练数据为不成对的两个域Domain1,Domain2的图片,我们希望的是训练的两个生成网络g1,g2能够在 ...
- jittor和pytorch生成网络对比之cogan
pytorch代码 import argparse import os import numpy as np import math import scipy import itertoolsimpo ...
- 不可错过的 GAN 资源:教程、视频、代码实现、89 篇论文下载
NIP 2016 对抗训练 Workshop [网页]https://sites.google.com/site/nips2016adversarial/ [博客]http://www.inferen ...
- GAN Zoo:千奇百怪的生成对抗网络,都在这里了
自从Goodfellow2014年提出这个想法之后,生成对抗网络(GAN)就成了深度学习领域内最火的一个概念,包括LeCun在内的许多学者都认为,GAN的出现将会大大推进AI向无监督学习发展的进程. ...
最新文章
- 埃森哲、亚马逊和万事达卡抱团推出的区块链项目有何神通?
- css( div和span)——读书笔记
- javascript提示抖动实现方法
- 使用Lambda在AWS云上使用Java
- 你必须搞清楚的String,StringBuilder,StringBuffer
- 奥斯卡公布最佳动画长片初选名单 《哪吒》等32部动画入选
- Django 数据库常见 Field Types
- oracle去除首个字符,oracle如何去除字符串中的重复字符
- 使用应用心理学帮助软件工程师
- Python下time模块和datetime模块的使用
- jvisualvm (Java VisualVM)
- 高一计算机课程教案,高一信息技术《信息及其特征》教案
- spring cloud学习-什么是Spring Cloud Eureka?
- python将PDF转换成图片(pdf2image的使用)
- 将一个真分数分解为埃及分数相加的形式
- 整理总结:利用Python进行数据分析及思维导图
- 【题库】OBCA认证考试题库(单选部分)
- 继电器rc吸收电路取值_RC吸收电路的参数选取
- 剑网三重置版服务器维护,《剑网三》重制版基础教程,让你从入门萌新步入大佬行列...
- 【Linux】解压缩命令
热门文章
- linux rm 不释放_Linux解决rm 删除大文件后 磁盘空间无法释放的问题
- logstsh xpack 认证_ElasticSearch Kibana 和Logstash 安装x-pack记录
- 使用指针交换i,j,k的值
- gamma分布_轻松理解gamma分布
- centos6重启网络命令_虚拟机-linux系统中图形界面和命令行界面切换
- Exchange2010SP1配置OWA下次登录时更改密码提醒
- Controller 层实现
- 使用E-MapReduce服务将Kafka数据导入OSS
- 单例模式——创建型模式
- 安装网页图形界面管理Linux