Classifier-Guidance 和 Classifier-Free

原文：生成扩散模型漫谈（九）：条件控制生成结果 - 苏剑林的文章 - 知乎 https://zhuanlan.zhihu.com/p/564385053

部分转载

技术分析

从方法上来看，条件控制生成的方式分两种：事后修改（Classifier-Guidance）和事前训练（Classifier-Free）。

对于大多数人来说，一个SOTA级别的扩散模型训练成本太大了，而分类器（Classifier）的训练还能接受，所以就想着直接复用别人训练好的无条件扩散模型，用一个分类器来调整生成过程以实现控制生成，这就是事后修改的Classifier-Guidance方案；而对于“财大气粗”的Google、OpenAI等公司来说，它们不缺数据和算力，所以更倾向于往扩散模型的训练过程中就加入条件信号，达到更好的生成效果，这就是事前训练的Classifier-Free方案。

Classifier-Guidance方案最早出自《Diffusion Models Beat GANs on Image Synthesis》，最初就是用来实现按类生成的；后来《More Control for Free! Image Synthesis with Semantic Diffusion Guidance》推广了“Classifier”的概念，使得它也可以按图、按文来生成。Classifier-Guidance方案的训练成本比较低（熟悉NLP的读者可能还会想起与之很相似的PPLM模型），但是推断成本会高些，而且控制细节上通常没那么到位。

至于Classifier-Free方案，最早出自《Classifier-Free Diffusion Guidance》，后来的DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的，值得一提的是，该论文上个月才放到Arxiv上，但事实上去年已经中了NeurIPS 2021。应该说，Classifier-Free方案本身没什么理论上的技巧，它是条件扩散模型最朴素的方案，出现得晚只是因为重新训练扩散模型的成本较大吧，在数据和算力都比较充裕的前提下，Classifier-Free方案变现出了令人惊叹的细节控制能力。

Classifier-Guidance 和 Classifier-Free相关推荐

[l论文解析]Classifier-Free Diffusion Guidance
paper link:https://openreview.net/pdf?id=qw8AKxfYbI 文章目录 Overview What problem is addressed in the p ...
maven 引入net.sf.json-lib依赖时报错（classifier）
概述项目中引入net.sf.json-lib依赖 <dependency><groupId>net.sf.json-lib</groupId><artifa ...
caffe入门学习:caffe.Classifier的使用
caffe入门学习:caffe.Classifier的使用在学习pycaffe的时候,官方一直用到的案例就是net=caffe.net(.../deploy.protxt,..../xxx.caff ...
[K210]Maixpy self learning classifier 自学习分类器
硬件平台:K210 Sipeed Maix Dock 软件平台:maixpy 实现功能:自学习分类,无需在pc上训练分类,在K210上就可以实现步骤一.下载固件 maixpy固件其中,各文件说明 ...
10、CLASSIFIER-FREE DIFFUSION GUIDANCE
简介论文:https://arxiv.org/pdf/2207.12598.pdf 分类器指导将扩散模型的得分估计与图像分类器的梯度相结合,因此需要训练与扩散模型分开的图像分类器. 实验证明,在没有 ...
图像生成之扩散模型：靠加入类别条件，效果直达SOTA
来源:AI蜗牛车本文约1300字,建议阅读7分钟比GAN更真实.还懂全景局部多角度构图. OpenAI去年年末推出的新作GLIDE,又让扩散模型小火了一把. 这个基于扩散模型的文本图像生成大模型参 ...
图像生成王者不是GAN？扩散模型最近有点火：靠加入类别条件，效果直达SOTA
博雯发自凹非寺量子位报道 | 公众号 QbitAI OpenAI刚刚推出的年末新作GLIDE,又让扩散模型小火了一把. 这个基于扩散模型的文本图像生成大模型参数规模更小,但生成的图像质量却更高 ...
李沐论文精读系列五：DALL·E2（生成模型串讲，从GANs、VE/VAE/VQ-VAE/DALL·E到扩散模型DDPM/ADM）
文章目录一. 前言 1.1 DALL·E简介 1.2 DALL·E2简介 1.3 文生图模型进展二. 引言 2.1 摘要 2.2 引言&模型结构三. 算法铺垫 3.1 GANs 3.2 ...
ROC 曲线/准确率、覆盖率（召回）、命中率、Specificity（负例的覆盖率）
欢迎关注博主主页,学习python视频资源 sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频教程) https://study.163.com/course/introduction.ht ...
图像生成论文阅读：GLIDE算法笔记
标题:GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models 会议:I ...

Classifier-Guidance 和 Classifier-Free

技术分析

Classifier-Guidance 和 Classifier-Free相关推荐

最新文章

热门文章