CoGAN 和 SeGAN

Lancer 2017.4.1

IMT Lab in XMU

这篇博文会是我对日常读过的比较有意思的文章的一个小结。更多的像导读/知识点小回顾,没有精力写太多技术细节,若对文章感兴趣,我对每篇文章都会附上arxiv链接,欢迎交流讨论。我的新浪微博:lancerlian 其他的联系方式自己挖掘哈!

文章列表

  • 【2017.03.23】 ▒▒ CoGAN: Coupled generative adversarial networks, Ming-Yu Liu et al

  • 【2017.04.01】 ▒▒ SeGAN: Segmenting and Generating the Invisible, Ehsani et al


【2017.03.23】 ▒▒ CoGAN: Coupled generative adversarial networks

这篇文章是NIPS 2016中涌现出来的众多GAN的模型改进和应用文章中的一篇。这篇文章吸引我的地方在于效果不错,而且跨域样本生成也蛮有意义的。文章链接: arxiv,

P.S. : 这篇文章的代码开源了。链接如下: [caffe版本](https://github.com/mingyuliutw/cogan 
) , [tensorflow版本](https://github.com/andrewliao11/CoGAN-tensorflow 
)。 开源的代码能够跑一跑MNIST数据集。

再P.S. : Ian Goodfellow大神(生成对抗网络GAN的提出者,青年才俊)在NIPS 2016做了个关于GAN的Tutorial,相当优秀。链接如下:tutorial, slides 值得一看。

1. 摘要:

2. 主要工作:

作者利用两个通过权值共享耦合的GAN网络,生成跨域样本。举个例子,输入一堆正常人脸和一堆戴眼镜的人脸,会生成长得一样的 with or without glasses 的人脸。这个模型可以用在很多不同的地方,具体的自己挖掘咯~不细讲。

3. 模型设计:

将两个GAN网络通过权值共享耦合起来。其中,生成器共享低层的几层权值,判别器共享高层的几层权值。

4. 原理分析:

  • 优化目标:和GAN的min-max优化函数类似,只是变成了两个GAN网络耦合后的函数。 

  • 训练阶段: GAN1 和 GAN2 分别输入两个域的样本。两域之间不需要相关。以戴眼镜人脸举例来说即:两个训练输入不需要是同一个人w/o眼镜的样本。如下图所示。

  • 测试阶段 : 两个GAN的G输入一样的满足一定分布(如高斯分布)的随机噪声。

  • 权值共享 : 生成器网络采用类似DCGAN的模型,与CNN不同的是采用了DeConv,这里我的理解是CNN的Conv是downsampling, GAN中G的Conv是upsampling,即放大图像,并非进行卷积的反运算,而是通过修改padding、stride等参数来实现upsampling. 举例如下2图。因此, 在生成器阶段,G与传统CNN是相反的。头几层解码的是高层语义信息,最后解码的是底层纹理信息; 在判别器阶段,D与传统CNN则类似,低层解码底层纹理信息,高层解码高层语义信息。因此,通过共享生成器的头几层的权值,可以保证生成的两个域的数据在高层语义特征上类似,比如人脸长得一样。而高层不共享,则保证了两个域间有各自的特征,比如戴不戴眼镜。而作者通过实验证明,判别器的权值共享对性能影响不大,最大的作用是减少参数。

 

5. 一些实验结果

作者show了一些生成的样本,并与Conditional-GAN进行了比较。实验证明,Conditional-GAN在生成跨域样本时效果不好。两个域之间关联性很弱。

 

6. 其他应用场景

除了MNIST,人脸(CelebA dataset),作者还在RBGD、室内3D数据集等场景进行了实验。不细说。


【2017.4.1】 ▒▒ SeGAN: Segmenting and Generating the Invisible

文章链接: arxiv

摘要:

主要工作:图片中的物体的被遮挡部分对于后续的detection和analysis是重要的信息。作者通过一个segmentor + generator + discriminator来生成物体包括被遮挡部分的Mask,并生成被遮挡部分的可能图像。最终目的:补全图像中物体被遮挡的部分。主要分为如下两部分:

  • 将物体不可见的部分分割出来,得到一个物体整体的Mask;

  • 利用GAN生成不可见的部分的图像。

模型的输入是图像以及每个物体可见部分的mask.

 

CoGAN 和 SeGAN相关推荐

  1. 波特兰:特别奖金3月PADNUG与Adam Cogan会面

    All the way from Australia, Adam Cogan will be joining us for a very special BONUS PADNUG presentati ...

  2. 2020 ACL《CoGAN》- Aspect Sentiment Classification with Document-level Sentiment Preference Modeling

    2020 ACL <CoGAN>-Aspect Sentiment Classification with Document-level Sentiment Preference Mode ...

  3. Generative Adversarial Networks(CGAN、CycleGAN、CoGAN)

    很久前整理了GAN和DCGAN,主要是GAN的基本原理和训练方法,以及DCGAN在图像上的应用,模式崩溃问题等.其核心思想就是通过训练两个神经网络,一个用来生成数据,另一个用于在假数据中分类出真数据, ...

  4. Segan : Speech Enhancement Generative Adversarial Network

    语音增强生成对抗网络 目前的语音增强技术是在频谱域上进行操作和/或利用一些更高级的特征.它们中的大多数处理有限数量的噪声条件,并依赖一阶统计.为了避免这些问题,由于能够从大型示例集中学习复杂的函数,深 ...

  5. SEGAN: Speech Enhancement Generative Adversarial Network

    论文原文地址, 目录 摘要 一.引言 二.Generative Adversarial Networks 三.Speech Enhancement GAN 四.实验步骤 4.1 数据集 4.2 SEG ...

  6. CoGAN pytorch

    章的思想是,利用网络层的权重共享约束,训练GAN网络.模型包括两个生成网络,两个判别网络, 训练数据为不成对的两个域Domain1,Domain2的图片,我们希望的是训练的两个生成网络g1,g2能够在 ...

  7. jittor和pytorch生成网络对比之cogan

    pytorch代码 import argparse import os import numpy as np import math import scipy import itertoolsimpo ...

  8. 不可错过的 GAN 资源:教程、视频、代码实现、89 篇论文下载

    NIP 2016 对抗训练 Workshop [网页]https://sites.google.com/site/nips2016adversarial/ [博客]http://www.inferen ...

  9. GAN Zoo:千奇百怪的生成对抗网络,都在这里了

    自从Goodfellow2014年提出这个想法之后,生成对抗网络(GAN)就成了深度学习领域内最火的一个概念,包括LeCun在内的许多学者都认为,GAN的出现将会大大推进AI向无监督学习发展的进程. ...

最新文章

  1. 埃森哲、亚马逊和万事达卡抱团推出的区块链项目有何神通?
  2. css( div和span)——读书笔记
  3. javascript提示抖动实现方法
  4. 使用Lambda在AWS云上使用Java
  5. 你必须搞清楚的String,StringBuilder,StringBuffer
  6. 奥斯卡公布最佳动画长片初选名单 《哪吒》等32部动画入选
  7. Django 数据库常见 Field Types
  8. oracle去除首个字符,oracle如何去除字符串中的重复字符
  9. 使用应用心理学帮助软件工程师
  10. Python下time模块和datetime模块的使用
  11. jvisualvm (Java VisualVM)
  12. 高一计算机课程教案,高一信息技术《信息及其特征》教案
  13. spring cloud学习-什么是Spring Cloud Eureka?
  14. python将PDF转换成图片(pdf2image的使用)
  15. 将一个真分数分解为埃及分数相加的形式
  16. 整理总结:利用Python进行数据分析及思维导图
  17. 【题库】OBCA认证考试题库(单选部分)
  18. 继电器rc吸收电路取值_RC吸收电路的参数选取
  19. 剑网三重置版服务器维护,《剑网三》重制版基础教程,让你从入门萌新步入大佬行列...
  20. 【Linux】解压缩命令

热门文章

  1. linux rm 不释放_Linux解决rm 删除大文件后 磁盘空间无法释放的问题
  2. logstsh xpack 认证_ElasticSearch Kibana 和Logstash 安装x-pack记录
  3. 使用指针交换i,j,k的值
  4. gamma分布_轻松理解gamma分布
  5. centos6重启网络命令_虚拟机-linux系统中图形界面和命令行界面切换
  6. Exchange2010SP1配置OWA下次登录时更改密码提醒
  7. Controller 层实现
  8. 使用E-MapReduce服务将Kafka数据导入OSS
  9. 单例模式——创建型模式
  10. 安装网页图形界面管理Linux