exponential family distribution（指数族分布）

1. exponential family

给定参数 η\boldsymbol \eta，关于 x\mathbf x 的指数族分布定义为如下的形式：

p(x∣∣η)=h(x)g(η)exp{ηTu(x)}

p\left(\mathbf x\big |\boldsymbol \eta\right)=h\left(\mathbf x\right)g\left(\boldsymbol \eta\right)\exp\left\{\boldsymbol \eta^Tu\left(\mathbf x\right)\right\}

其中 x\mathbf x 可以为标量也可以为矢量，可以为离散也可是连续。其中 η\boldsymbol \eta 被称为分布的自然系数（natural parameters），

g(η)∫h(x)exp{ηTu(x)}dx=1

g\left(\boldsymbol \eta\right)\int h\left(\mathbf x\right)\exp\left\{\boldsymbol \eta^Tu\left(\mathbf x\right)\right\}d\mathbf x=1

2. 以指数分布的眼光看其他分布

伯努利分布（Bernoulli Distribution，也叫 0-1 分布）：

伯努利分布的基本形式为（其中 μ\mu 为事件可能发生的概率，xx 的取值为 0 或 1）：

p(x∣∣μ)=μx(1−μ)1−x

p\left(x\big |\mu\right)=\mu^x \left(1-\mu\right)^{1-x}

我们将其化为指数分布的形式：

p(x∣∣μ)=Bern(x∣∣μ)==eln(μx(1−μ)1−x)(1−μ)exp{xln(μ1−μ)}

\begin{split}p\left(x\big |\mu\right)=\text{Bern}\left(x\big |\mu\right)=&e^{\ln \left({\mu^x \left(1-\mu\right)^{1-x}}\right)}\\=&\left(1-\mu\right)\exp\left\{x\ln\left(\frac{\mu}{1-\mu}\right)\right\}\end{split}

将其与指数族的基本形式相对照，现指定 η=ln(μ1−μ)\eta=\ln\left(\frac{\mu}{1-\mu}\right)，因此 μ\mu 是关于 η\eta 的函数，不妨设 μ=σ(η)\mu=\sigma\left(\eta\right)，则可得：

μ=σ(η)=11+e−η

\mu=\sigma\left(\eta\right)=\frac1{1+e^{-\eta}}

这就是 logistic sigmoid 函数；

exponential family distribution（指数族分布）相关推荐

Gamma 函数与exponential power distribution （指数幂分布）
1. Γ(⋅)\Gamma(\cdot) 函数 Γ(α)=∫∞0tα−1e−tdt \Gamma(\alpha)=\int_{0}^\infty t^{\alpha-1}e^{-t}dt 可知以下基本 ...
一文了解什么是指数族分布
前言指数分布族是一系列分布的统称,包含连续和离散的相关分布.例如,正态分布(Gaussian).泊松分布(Poisson).二项分布(Bernoulli).指数分布(exponential).Gam ...
kl散度度量分布_概率图简要模型笔记（二）马尔可夫随机场与KL散度、最大熵、指数族分布、高斯分布、极大似然分布...
这一篇文章主要是想捋一捋KL散度.最大熵.指数族分布这些东西之间的关系,这是一些非常基本的知识点,刚入门机器学习的时候,傻傻分不清楚,现在回过头来看,其实很多东西都可以串起来,不得不感叹数学真是一个很 ...
白板机器学习笔记 P39-P45 指数族分布
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=39 笔记地址:https://www.yuque.com/books/share/f4031f6 ...
PRML(3)--Chapter2(上)-概率分布-二元变量、多项式变量、高斯分布、指数族分布
PRML第二章上-概率估计 2.1二元变量 2.1.1 beta 分布 2.2 多项式变量 2.3 高斯分布 2.3.1条件高斯分布.2.3.2边缘高斯分布 2.3.3 高斯变量的贝叶斯定理 2.3. ...
机器学习笔记之指数族分布——最大熵原理与softmax激活函数的关系
机器学习笔记之指数族分布--最大熵原理与softmax激活函数的关系引言符号定义基于多维数据集合的经验概率分布回顾:经验概率分布多维数据的经验概率分布 Softmax\mathcal Sof ...
Dirichlet Distribution狄利克雷分布 / Latent Dirichlet Allocation （LDA）隐藏狄利克雷概念的理解
目录: Dirichlet Distribution 狄利克雷分布 Bayesian Generative Models 贝叶斯生成模型 Mixture Models and the EM algor ...
机器学习-白板推导-系列（八）笔记：指数族分布/充分统计量/对数配分函数/最大熵
文章目录 0 笔记说明 1 背景 1.1 指数族分布的一般形式 1.2 共轭先验 2 高斯分布的指数族形式 3 对数配分函数与充分统计量 4 极大似然估计与充分统计量 5 熵 5.1 最大熵⇔x服从均 ...
The Dirichlet Distribution 狄利克雷分布
Dirichlet分布可以看做是分布之上的分布.如何理解这句话,我们可以先举个例子:假设我们有一个骰子,其有六面,分别为{1,2,3,4,5,6}.现在我们做了10000次投掷的实验,得到的实验结果是 ...

exponential family distribution（指数族分布）

1. exponential family

2. 以指数分布的眼光看其他分布

exponential family distribution（指数族分布）相关推荐

最新文章

热门文章