Glow-流生成模型（一）

最近最火的生成模型应该就是Glow了，它是基于NICE和Density Estimation Using Real NVP产生的。虽然流生成模型（NICE）和GAN都是在2014年产生的，但很明显GAN的流行程度要远远超过流生成模型。

由于Glow的作者默认大家在读Glow时都对NICE和Density Estimation Using Real NVP 比较了解了，因此文中没有涉及到原理性的说明，这也让我在读这篇论文时感到比较吃力，只能大概理解说的是以一种分段或者说因式分解的方式来模拟原数据的分布，感觉从思想上而言和ResNet有异曲同工之妙。

这篇文章主要讲解一下数学上的相关内容，因为自己的数学功底有限所以写下来便于日后复习。

一、Jacobian矩阵（参阅Jacobian矩阵和Hessian矩阵）

只记得当年学习高数时有学习过Jacobian矩阵，但是具体是做什么的和是由什么构成的记不清了，这里参阅上面的博客重新学习了一下，写的真的是非常的好。

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]或者[ʤə ˈko bi ən].

雅可比矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.

假设F: Rn→Rm

是一个从欧式n维空间转换到欧式m维空间的函数. 这个函数由m个实函数组成: y1(x1,…,xn), …, ym(x1,…,xn). 这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵：

$\begin{bmatrix} &\frac{\partial y_{1}}{\partial x_{1}} &\dots &\frac{\partial y_{1}}{\partial x_{n}} & \\ &\vdots &\ddots &\vdots &\\ &\frac{\partial y_{m}}{\partial x_{1}} &\dots &\frac{\partial y_{m}}{\partial x_{n}} \end{bmatrix}$

此矩阵表示为: JF(x1,…,xn), 或者∂(y1,…,ym)∂(x1,…,xn).

这个矩阵的第i行是由梯度函数的转置yi(i=1,…,m)表示的.

如果p是Rn中的一点, F在p点可微分, 那么在这一点的导数由JF(p)给出(这是求该点导数最简便的方法). 在此情况下, 由F(p)描述的线性算子即接近点p的F的最优线性逼近, x逼近于p:F(x)≈F(p)+JF(p)⋅(x–p)

雅可比行列式

如果m = n, 那么F

是从n维空间到n维空间的函数, 且它的雅可比矩阵是一个方块矩阵. 于是我们可以取它的行列式, 称为雅可比行列式.

在某个给定点的雅可比行列式提供了在接近该点时的表现的重要信息. 例如, 如果连续可微函数F

在p点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理. 更进一步, 如果p点的雅可比行列式是正数, 则F在p点的取向不变；如果是负数, 则F的取向相反. 而从雅可比行列式的绝对值, 就可以知道函数F在p

点的缩放因子；这就是为什么它出现在换元积分法中.

对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力F

, 即取向相同, 则加速运动, 类比于速度的导数加速度为正；如果施加一个反方向的力F, 即取向相反, 则减速运动, 类比于速度的导数加速度为负.

Glow-流生成模型（一）相关推荐

换脸效果媲美GAN！一文解析OpenAI最新流生成模型「Glow」
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
泊松流生成模型：兼顾质量与速度，比扩散模型更快更好？
来源:公众号机器之心授权来自MIT的研究者提出了一种新的生成模型,名为泊松流模型 .它在图像生成质量.生成速度和鲁棒性上比扩散模型更好.本文已被NeurIPS 2022接收. 引言扩散模型最早 ...
高清变脸更快更逼真！比GAN更具潜力的可逆生成模型来了 | OpenAI论文+代码
昨天上市即破发的小米,今天上午股价大涨近10%.这下雷军要笑了. 而且可以笑得更灿烂.更灿烂是什么样?来,我们用OpenAI刚刚发布的人工智能技术,给大家展示一下. 当然这个最新的技术,不止这 ...
ACM SIGKDD | MoFlow：基于流的分子图生成模型
今天给大家介绍的是康奈尔大学医学院(Weill Cornell Medicine)健康科学系(Department of Population Health Sciences)的博士后研究助理臧承熙于 ...
【生成模型】简述概率密度函数可处理流模型
本期将介绍第二种非常优雅的生成模型-流模型,它也是一种概率密度函数可处理的生成模型.本文将对其原理进行介绍,并对nice模型的源码进行讲解. 作者&编辑 | 小米粥 1 流模型这是一种想法比 ...
基于流的深度生成模型
1 引言到目前为止,两种生成模型GAN\mathrm{GAN}GAN和VAE\mathrm{VAE}VAE并不能准确地从真实数据x∈D{\bf{x}}\in \mathcal{D}x∈D中学习出概 ...
基于流的(Flow-based)生成模型简介
基于流的(Flow-based)生成模型简介生成任务我们先回顾一下所谓的生成任务,究竟是做什么事情.我们认为,世界上所有的图片,是符合某种分布 pdata(x)p_{data}(x)pdata( ...
超越GAN？OpenAI提出可逆生成模型Glow！图像生成太逼真
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达作者:Aryansh Omray,微软数据科学工程师,Medium技术博主机器学习领域的一个基本问题就是如 ...
生成模型VAE、GAN和基于流的模型详细对比
在Ian Goodfellow和其他研究人员在一篇论文中介绍生成对抗网络两年后,Yann LeCun称对抗训练是"过去十年里ML最有趣的想法".尽管GANs很有趣,也很有前途,但它 ...

Glow-流生成模型（一）

Glow-流生成模型（一）相关推荐

最新文章

热门文章