本文作者：合肥工业大学管理学院钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。
未经本人允许禁止转载。

文章目录

指数分布族的概念
典型分布转化
- Bernoulli分布
- Poisson分布
- Gaussian分布
多元Gaussian分布
- Multinomial分布
变分推断应用
- LDA模型
参考内容

指数分布族的概念

指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正太分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多项式分布(multivariate)等。
指数分布族中的分布以及指数分布族的性质，经常用于机器学习(machine learning)模型的参数假设以及参数推理中。较为典型的模型是生成模型，例如主题模型(Topic Models)中经常使用到的共轭分布(multivariate和Dirichlet分布、Bernoulli和Beta分布、Poisson和gamma分布等)。指数分布族中的共轭经常用于参数推理、另外其统计特性经常用于变分推理。例如，有兴趣的可以详细阅读下面几篇文章：

Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. Journal of machine Learning research, 2003, 3(Jan): 993-1022.
Teh Y W, Newman D, Welling M. A collapsed variational Bayesian inference algorithm for latent Dirichlet allocation[C]//Advances in neural information processing systems. 2007: 1353-1360.
Blei D M, Kucukelbir A, McAuliffe J D. Variational inference: A review for statisticians[J]. Journal of the American Statistical Association, 2017, 112(518): 859-877. 【变分推断的综述性文章–案例代码为：https://blog.csdn.net/qy20115549/article/details/86694325】
Su J. Variational Inference: A Unified Framework of Generative Models and Some Revelations[J]. arXiv preprint arXiv:1807.05936, 2018. 【变分自编码器VAE、生成对抗网络GAN】
Wainwright M J, Jordan M I. Graphical models, exponential families, and variational inference[J]. Foundations and Trends® in Machine Learning, 2008, 1(1–2): 1-305. 【一本书】

指数分布族中的分布于都写成下面的形式：

其中：

η\etaη为自然参数(natural parameter)，可以是向量形式
T(x)T(x)T(x)为充分统计量(sufficient statistic)
A(η)A(\eta)A(η)为累计函数(cumulant function)，作用是确保概率和为1
h(x)h(x)h(x)为underlying measure

典型分布转化

Bernoulli分布

以下是Bernoulli分布的转化：

对比上面的形式，可以得到：

Poisson分布

泊松分布的标准形式为：

写成指数形式为：

因此泊松分布也属于指数分布族，其相关参数为：

Gaussian分布

正太分布的形式为：

写成指数形式为：

因此，也满足指数组分布：

高斯分布有两个参数，因此自然参数以及充分统计量都有两个。

多元Gaussian分布

标准形式为：

写成指数族形式：

对比：

可以得到：

自然参数为：

cumulant function为：

Multinomial分布

多项式分布的形式为：

重写为：

从这里发现，累计函数A(η)A(\eta)A(η)为0了，实际上并不为0。继续转化有：

这里有：

因此，可以得到：

由这个式子可以转化得到πk\pi_{k}πk，即：

可以看出这个式子是softmax函数。
另外，我们也可以获得：

变分推断应用

在变分推理中，经常使用到的是A(η)A(\eta)A(η)性质，即A(η)A(\eta)A(η)对(η(\eta(η的一阶偏导数：

上面这个公式，可以由最原始的公式得到。继续计算有：

例如，对二项分布而言：

对正太分布而言：

在变分推理中，经常要计算期望，通过这个性质，便可以将期望计算转化成求导计算。例如，

LDA模型

LDA的概率图表示如下：

主题分布θ\thetaθ服从先验为α\alphaα的Dirichlet分布，即：

其中：

对θ\thetaθ的分布进行转化有：

因此，可以看出Dirichlet分布也属指数分布，由上面的公式得到：
自然参数ηi\eta _{i}ηi:

sufficient statistic为：

log normalizer或cumulant function为：

基于上面这三个公式有：

在LDA的变分推理中，需要将下界ELOB转化为多项期望，如下面所示：

此公式中，包含多个期望，在计算时，每个期望都需要推导出公式。由于前面已经分析参数θ\thetaθ，下面只例举Eq[logp(θj∣α)]E_q[logp(\theta_j|\alpha)]Eq[logp(θj∣α)]:

在上面公式标红的部分，便可转化成偏导的计算，这里θ\thetaθ对应的变分参数为γ\gammaγ，即：

这里的log normalizer或cumulant function为：

进而可以计算公式标红的期望：

其中，Ψ(⋅)\Psi(\cdot)Ψ(⋅)为digamma函数，及Gamma函数对数的一阶偏导数。因此有：

关于其他期望的求法与这个类似，这里不作过多赘述，有兴趣的可以学习这篇文章：
Inference Methods for Latent Dirichlet Allocation

参考内容

https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter8.pdf
http://www.cs.columbia.edu/~jebara/4771/tutorials/lecture12.pdf
https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter9.pdf
http://times.cs.uiuc.edu/course/598f16/notes/lda-survey.pdf [lda推理]

指数分布族(Exponential Family)相关公式推导及在变分推断中的应用相关推荐

统计学习II.7 广义线性模型1 指数分布族
统计学习II.7 广义线性模型1 指数分布族指数分布族的定义指数分布族的例子 Bernoulli分布 Multinoulli分布指数分布族的性质指数分布族的MLE 指数分布族的贝叶斯方法这一 ...
牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4
转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9207047 最近在看Ng的机器学习公开课,Ng的讲法循循善诱,感觉提高了不少 ...
数理统计10.15 | 指数分布族
数理统计10.15 | 指数分布族居士群大佬做的网站: http://www.math.wm.edu/~leemis/chart/UDR/UDR.html
广义线性模型与指数分布族
在机器学习领域,很多模型都是属于广义线性模型(Generalized Linear Model,GLM),如线性回归,逻辑回归,Softmax回归等.这篇文章广义线性模型,并由它推导出线性回归,逻辑回 ...
指数分布族函数与广义线性模型（Generalized Linear Models，GLM）
目录 1 综述 2 指数分布族 3 广义线性模型 3.1 定义 3.2 为什么引入GLM 3.3 连接函数的获取 4 常见连接函数求解及对应回归 4.1 伯努利分布 > Logistics回归 ...
指数分布族和广义线性模型
本节主要是我看了网易公开课上的Andrew Ng的机器学习公开课第四节所做的笔记加上自己的一些整理,将它发上来供参考,由于水平有限,可能有错误. 这节视频中,Andrew Ng主要讲了三个方面,分别是 ...
腾讯微博API时间线相关接口返回的微博信息中head值使用问题
腾讯微博API时间线相关接口返回的微博信息中head值表示作者头像url,这个链接直接访问并不能使用,需要再附加一个参数指定图片的大小(100.50),比如:[head]/100.
综述：植物相关微生物群在传统草药中的作用
本文由李苗苗编译,董小橙.江舜尧编辑. "微生太"原创微文,欢迎转发转载. 导读药用植物微生物组可以直接响其寄主的代谢组,从而可能影响草药的功效.我们提倡用中草药丹参(Salvi ...
网络蛋白质组学在计算机中应用,蛋白质组学及其相关技术在运动人体科学中的应用...
摘要: 目的:对蛋白组学及蛋白芯片技术发展现状进行综述,为该技术在运动医学中的应用提供参考资料.资料来源:应用计算机检索PubMed2003-01/2006-12期间相关蛋白组学及蛋白芯片技术方面的文 ...

指数分布族(Exponential Family)相关公式推导及在变分推断中的应用