前言

指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正态分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多项式分布(multivariate)等。指数分布族中的分布以及指数分布族的性质，经常用于机器学习(machine learning)模型的参数假设以及参数推理中。较为典型的模型是生成模型，例如主题模型(Topic Models)中经常使用到的共轭分布(multivariate和Dirichlet分布、Bernoulli和Beta分布、Poisson和gamma分布等)。指数分布族中的共轭经常用于参数推理、另外其统计特性经常用于变分推理。

指数族分布的一般表达式：

其中：

η：η为自然参数(natural parameter)，可以是向量形式

T(x)：T(x)为充分统计量(sufficient statistic)

A(η)：A(η)为累计函数(cumulant function)，作用是确保概率和为1

h(x)：h(x)为underlying measure

典型指数族分布转化

1、Poisson分布

泊松分布的标准形式为：

其对应的指数分布形式：

其中：

2、Gaussian分布

标准形式：

指数族分布形式：

其中：

3、Bernoulli分布

标准形式：

其中：

4、多元Gaussian分布

标准形式：

指数族形式：

5、Multinomial分布

标准形式：

指数族形式：

总结

在很多机器学习算法中，指数族分布是一个很重要的概念，比如在LDA算法，因此了解机器学习就从指数族分布开始吧。

https://www.toutiao.com/a6666028197546557956/

一文了解什么是指数族分布相关推荐

kl散度度量分布_概率图简要模型笔记（二）马尔可夫随机场与KL散度、最大熵、指数族分布、高斯分布、极大似然分布...
这一篇文章主要是想捋一捋KL散度.最大熵.指数族分布这些东西之间的关系,这是一些非常基本的知识点,刚入门机器学习的时候,傻傻分不清楚,现在回过头来看,其实很多东西都可以串起来,不得不感叹数学真是一个很 ...
白板机器学习笔记 P39-P45 指数族分布
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=39 笔记地址:https://www.yuque.com/books/share/f4031f6 ...
exponential family distribution（指数族分布）
1. exponential family 给定参数 η\boldsymbol \eta,关于 x\mathbf x 的指数族分布定义为如下的形式: p(x∣∣η)=h(x)g(η)exp{ηTu(x ...
PRML(3)--Chapter2(上)-概率分布-二元变量、多项式变量、高斯分布、指数族分布
PRML第二章上-概率估计 2.1二元变量 2.1.1 beta 分布 2.2 多项式变量 2.3 高斯分布 2.3.1条件高斯分布.2.3.2边缘高斯分布 2.3.3 高斯变量的贝叶斯定理 2.3. ...
机器学习笔记之指数族分布——最大熵原理与softmax激活函数的关系
机器学习笔记之指数族分布--最大熵原理与softmax激活函数的关系引言符号定义基于多维数据集合的经验概率分布回顾:经验概率分布多维数据的经验概率分布 Softmax\mathcal Sof ...
机器学习-白板推导-系列（八）笔记：指数族分布/充分统计量/对数配分函数/最大熵
文章目录 0 笔记说明 1 背景 1.1 指数族分布的一般形式 1.2 共轭先验 2 高斯分布的指数族形式 3 对数配分函数与充分统计量 4 极大似然估计与充分统计量 5 熵 5.1 最大熵⇔x服从均 ...
狄利克雷分布公式_一文详解隐含狄利克雷分布（LDA）
一.简介隐含狄利克雷分布(LatentDirichletAllocation,简称LDA)是由DavidM.Blei.AndrewY.Ng.MichaelI.Jordan在2003年提出的,是一种词 ...
干货 | 一文详解隐含狄利克雷分布（LDA）
作者 | 玉龍一.简介隐含狄利克雷分布(Latent Dirichlet Allocation,简称LDA)是由 David M. Blei.Andrew Y. Ng.Michael I. Jor ...
指数族分布(2)——对数配分函数和MLE与充分统计量
一.对数配分函数与充分统计量二.最大似然估计与充分统计量

一文了解什么是指数族分布

前言

典型指数族分布转化

总结

一文了解什么是指数族分布相关推荐

最新文章

热门文章