大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分图像生成的核心技术点。

作者&编辑 | 言有三

1 基本图像生成框架

一个基本的图像生成框架包括判别器和生成器，其中生成器输入噪声向量，判别器判别真实图像和生成的图像，DCGAN是其中典型的代表，也是新手入门必须掌握的第一个框架。

2 条件GAN

DCGAN固然是可以生成满足训练数据集中数据分布的图片，但是却没有办法进行精确的控制，比如生成具体的某一类数字，或者某一类笔画风格，因此我们需要条件可以控制的网络，这就是条件GAN，这也是新手必须掌握的内容，是后续很多GAN变种的基础。

3 级联GAN

早期以DCGAN为代表的GAN网络生成的图片分辨率太低，质量不够好，都不超过100×100，这是因为难以学习一次性生成高分辨率的样本，收敛过程容易不稳定。基于此，金字塔GAN(LAPGAN)，Progressive GAN等级连结构被提出并广泛使用，它们参考图像领域里面的金字塔结构由粗到精一步一步生成图像，并学习残差而不是完整的图像。

4 多判别器与生成器

当面对复杂的图像生成问题时，单个判别器和生成器的能力显得就不够了，因为多个判别器和生成器的结构被研究者广泛研究。采用多个判别器的好处带来了类似于模型集成的优势，并且可以独立完成不同的任务，而多个生成器的设计则可以实现生成器的分工合作，以提高模式丰富性。

5 GAN与VAE的结合

GAN和VAE是两类最常见的生成模型，VAE的特点是可解释性更强，不过生成结果比较模糊。GAN的特点是生成结果更加逼真，但是容易陷入模式崩塌等问题。有许多研究致力于融合两者的性能，如ALI，它包含了编码器，解码器以及判别器。

6 其他

总的来说，图像生成有非常多的研究方向，包括：

(1) 条件GAN的各类变种。

(2) 与VAE的结合。

(3) 多生成器多判别器改进。

(4) 递归与多尺度设计。

(5) 各类层归一化机制的使用。

(6) 注意力机制的使用。

(7) 从2D数据到3D数据的生成。

(8) 多模态技术的使用。

(9) 数据生成在数据增强，无监督训练等任务中应用。

(10) 其他等等。

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—GAN板块阅读。

有三AI知识星球

知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：

【杂谈】有三AI知识星球一周年了！为什么公众号+星球才是完整的？

【杂谈】万万没想到，有三还有个保密的‘朋友圈’，那里面都在弄啥！

转载文章请后台联系

侵权必究

往期精选

• 【杂谈】2020年有三AI计算机视觉培养计划详解，该不该学&怎么学CV的简单讨论

• 【年终总结】2019年有三AI做了什么，2020年我们要做什么？

• 【总结】有三AI秋季划模型优化组3月直播讲了哪些内容，为什么每一个从事深度学习的同学都应该掌握模型优化的内容

• 【总结】有三AI秋季划人脸算法组3月直播讲了哪些内容，计算机视觉你不可能绕开人脸图像

• 【总结】有三AI秋季划图像质量组3月直播讲了哪些内容，为什么解决好底层图像处理问题那么重要

• 【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！

• 【星球知识卡片】移动端高效率的分组网络都发展到什么程度了？

• 【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？

• 【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习

• 【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习

• 【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习

• 【星球知识卡片】视频分类与行为识别有哪些核心技术，对其进行长期深入学习