论文：https://papers.nips.cc/paper/6399-infogan-interpretable-representation-learning-by-information-maximizing-generative-adversarial-nets.pdf

摘要：

论文提出了InfoGAN算法，该算法是GAN算法的延伸，能在非监督学习下学习到很好的disentangled表示。InfoGAN最大化部分隐变量和探索之间的互信息，论文提出一个可高效优化的互信息的下届，InfoGAN在各项数据集中的训练测试表现优异。

介绍：

非监督学习可以被描述为在大量未标记数据中提取（有用）值的通用问题，非监督学习常用的框架是表示学习，表示学习的目标是使用未标记的数据学习一个表示能够将重要的语义特征展示为可编码的因素。非监督学习算法必须能够在没有直接的指示的前提下高效的正确的预测接下来可能的分类任务。论文提出的InfoGAN算法是通过最大化GAN的噪声中固定的一小部分和探索之间的互信息，来发现高度语义化的和有意义的隐藏表示信息。

背景：GAN

GAN(Generative adversarial networks)是一个对抗生成网络，目标是学习一个生成分布尽可能的接近真实的数据分布，GAN没有直接进明显的排列每一个x的分布的可能性，而是学习一个生成网络G，用于生成从生成网络中采样的样本，通过向生成网络传递一个噪声。对抗鉴别网络D的目的是识别从生成器分布中采样的数据和真实分布中的数据，优化的鉴别器如下定义：

GAN定义如下：

包含隐变量的互信息：

GAN使用一个简单的连续输入噪声向量 z ，可能会被生成器 G(z) 用于耦合其他向量，导致的结果是噪声 z 的独立维度与输入数据的语义特征不相关。在InfoGAN中，没有使用一个简单的无组织的噪声向量，而是将输入的噪声向量分解Wie两个部分：① z 作为不能压缩的噪声 ② c 作为隐藏编码，用于指出数据分布中的显著的语义特征。论文将有结构的隐变量定义为，假设一个因式分布：，使用隐藏编码 c 来表示隐变量之间的联系。

论文的生成网络由不可压缩的噪声向量 z 和隐藏编码 c 组成，构成。在标准的 GAN 中，生成器忽视了隐藏编码，可以理解为，为了解决不重要的编码的问题，论文提出了信息论的规则方法，使用互信息来约束隐藏编码 c 和生成分布，所以的值应该很高。

互信息公式定义如下：

其中，是当Y被探索了，关于X的不确定性的减少量，根据互信息理论，我们希望得到有一个较小的熵（熵代表惊喜度，较小的熵表示该事件发生可能性较大，也就是说该概率较大），最终的InfoGAN的定义式如下：

互信息的最大化：

由于很难直接求解，因为它需要求解后验分布，论文定义一个辅助分布来接近：

论文将H(c)看做常数，并根据定理：

将公式做出修改：

最终InofGAN的定义式如下：

论文使用神经网络来参数化辅助分布 Q，在大多数情况下，Q和D共享所有的卷积层，在条件分布中有一个最终的全连接层，同时论文提出的收敛速度比传统的GAN要快。在辅助分布中，使用非线性softmax表示，连续变量中，使用真实后验分布，论文使用因式的高斯分布来代替。

InfoGAN(Interpretable representation learning by information maximizing GAN)相关推荐

【论文阅读】InfoGAN: Interpretable Representation Learning by Information Maximizing GAN
论文下载 bib: @inproceedings{chenduan2016infogan,author = {Xi Chen and Yan Duan and Rein Houthooft and J ...
[生成对抗网络GAN入门指南]（10）InfoGAN: Interpretable Representation Learning by Information Maximizing GAN
本篇blog的内容基于原始论文InfoGAN: Interpretable Representation Learning by Information Maximizing Generative A ...
InfoGAN：Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets ...
InfoGAN：Interpretable Representation Learning by Information Maximizing GANs论文解读
概述: InfoGAN是国际神经信息处理系统大会NIPS 2016上的论文,作者来自加州大学伯克利分校和OpenAI团队的研究人员,被OpenAI称为当年的五大突破之一.针对传统生成对抗网络以高度混杂 ...
[paper]Interpretable Representation Learning for Healthcare via Capturing Disease Progression
加入时间衰退因子以及注意力机制的时间序列的病情诊断预测.预测下一次住院就诊的病情的主要类型. 通过电子病历查看病人检查情况,根据不同症状出现的不同时间加入注意力机制,长记忆的权重不一定比短时间的权重低 ...
论文解读（GMI）《Graph Representation Learning via Graphical Mutual Information Maximization》
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/cou ...
GraphGAN: Graph Representation Learning with GAN
GraphGAN: Graph Representation Learning with GAN 1.Introduction 2.GraphGAN Framework 2.1 Optimizatio ...
表征学习Representation Learning
1入门 https://zhuanlan.zhihu.com/p/136554341 2. representation learning 解耦(disentangled).可解释( Interpre ...
对比学习系列论文CPC（二）—Representation Learning with Contrastive Predictive Coding
0.Abstract 0.1逐句翻译 While supervised learning has enabled great progress in many applications, unsupe ...
[2021 icas]PPG-BASED SINGING VOICE CONVERSION WITH ADVERSARIAL REPRESENTATION LEARNING
作者:Li Zhonghao 会议:投稿2021 icassp 单位:bytedance 文章目录 abstract 1. introduction 2. METHOD 2.1 PPGs Encode ...

InfoGAN(Interpretable representation learning by information maximizing GAN)

摘要：

介绍：

背景：GAN

包含隐变量的互信息：

互信息的最大化：

InfoGAN(Interpretable representation learning by information maximizing GAN)相关推荐

最新文章

热门文章