一文读懂Diffusion model

一．　扩散定义
在算法中，它替代了GAN网络。
注：GAN网络是一个生成对抗网络，它存在的问题：
（1）模型会学到一些我们不希望出现的东西，模型收敛难度高。
　　（2）只为了骗过判决器，多样性较差。
　　参考资料：《DALL-E2》底层逻辑是扩散模型：unet主体，transformor可以嵌入进去。
　　引入：
　　功能：去噪
　　每一个时刻添加高斯噪声，后一时刻都是由前一时刻增加噪声得到的。
　　加噪的过程就是不断添加标签的过程。
　　 扩散-复原
　　扩散：由一只狗的样本图像完全变为纯噪声的样本。
　　这是一个迭代的过程，存在梯度训练的问题。
　　注：只要是网络深度大，都会存在梯度训练的问题。
　　任意时刻的分布都可以通过初始状态x0和初始分布z得到。

    **去噪：**贝叶斯公式可以逆推。无法直接求解时，可以求解近似解。前向噪声作为标签。实际过程就是后向过程。

前向是作为后向的训练条件。

深度学习的本质就是用一堆数据，提取特征，然后生成模型，再去处理一些新的数据。

扩展知识点：注意力机制。

一文读懂Diffusion model相关推荐

一文弄懂 Diffusion Model
什么是 Diffusion Model 一.前向 Diffusion 过程 Diffusion Model 首先定义了一个前向扩散过程,总共包含T个时间步,如下图所示: 最左边的蓝色圆圈 x0 表示真 ...
读懂diffusion model需要知道的前置知识(持续更新)
没有系统学习过ML/DL/PR/CV/NLP的情况下,使用diffusion model 超参数马尔科夫高斯分布重参数技巧损失函数(loss function) 均方误差(Mean squar ...
一文读懂Faster RCNN
来源:信息网络工程研究中心本文约7500字,建议阅读10+分钟本文从四个切入点为你介绍Faster R-CNN网络. 经过R-CNN和Fast RCNN的积淀,Ross B. Girshick在20 ...
一文读懂序列建模（deeplearning.ai）之序列模型与注意力机制
https://www.toutiao.com/a6663809864260649485/ 作者:Pulkit Sharma,2019年1月21日翻译:陈之炎校对:丁楠雅本文约11000字,建议 ...
| 一文读懂迁移学习（附学习工具包）
当一个CNN用于另一个领域,就使用到了迁移学习.迁移学习是一种用于模型领域泛化和扩展的工具. 文章链接:独家 | 一文读懂迁移学习(附学习工具包) 参考:当深度学习成为过去,迁移学习才是真正的未来? ...
独家 | 一文读懂语音识别（附学习资源）
原标题:独家 | 一文读懂语音识别(附学习资源) 一.前言 6月27日,美国权威科技杂志<MIT科技评论>公布2017全球最聪明50家公司榜单.科大讯飞名列中国第一.全球第六.全世界排在科 ...
stata 求输出相关系数矩阵命令_一文读懂结果输出命令大全（上）
目录描述统计量 help tabstat //Stata 官方命令描述统计量组间均值差异检验 help ttest help ttable2 help estout 相关分析命令 help p ...
一文读懂——全局注意力机制（global attention）详解与代码实现
废话不多说,直接先上全局注意力机制的模型结构图. 如何通过Global Attention获得每个单词的上下文向量,从而获得子句向量呢?如下几步: 代码如下所示: x = Embedding(inpu ...
python随机森林变量重要性_推荐：一文读懂随机森林的解释和实现（附python代码）...
原标题:推荐 :一文读懂随机森林的解释和实现(附python代码) 作者:WilliamKoehrsen:翻译:和中华:校对:李润嘉本文约6000字,建议阅读15分钟. 本文从单棵决策树讲起,然后逐 ...

一文读懂Diffusion model

一文读懂Diffusion model相关推荐

最新文章

热门文章