Dirichlet Distribution狄利克雷分布 / Latent Dirichlet Allocation （LDA）隐藏狄利克雷概念的理解

目录：

Dirichlet Distribution 狄利克雷分布
Bayesian Generative Models 贝叶斯生成模型
Mixture Models and the EM algorithm 混合模型及EM算法
Latent Semantic Indexing (LSA)
Latent Dirichelt Allocation (LDA)

Dirichlet Distribution 狄利克雷分布

定义：狄利克雷分布 Dir(a) 是由一个向量 theta（全为正实数） 所表示的多元概率分布。通常作为贝叶斯统计的先验分布。

那么，为什么狄利克雷分布能作为贝叶斯统计的先验分布呢？
其中一个重要的原因是：狄利克雷分布是许多重要分布的共轭先验分布。

p.s. 共轭先验分布：
如果后验分布 p(theta|x)和先验分布p(theta) 是相同的概率分布类型，我们称这两为共轭分布，同时先验分布为似然函数的共轭先验分布。

我们现在来看一下怎么使用狄利克雷分布来描述一组随机的多元分布。 有兴趣深入了解的同学可以参考这篇很好的blog：visualising the Dirichlet distribution.

我们现在以掷硬币为例，理想情况下，出现正面/反面的概率相等都为1/2。但是，实际情况下，我们只能通过观测结果 theta = （theta1, theta2) 其中theta1为正面的次数/总次数，vice verse。

a 满足以下两个条件：（1）和为1；（2）全为正数。这时，投硬币的结果可以由一个多项式分布来表示。换而言之，当我们投掷n次硬币 D = {x1, x2}，似然函数则为：

（k = {1, 2} 公式上打错了）

在这一次投掷n次的实验中，我们可能不能获得theta1 = theta2 = 1/2，因此我们想要通过多次投掷n次的实验，而每一次投掷出现正反面的结果概率为 theta_i = （theta_i_1, theta_i_2) 。我们通过对 theta_i 建模其概率密度函数，从而获得我们所选取的***theta_i***概率。这个概率密度函数则为多元分布的先验分布。

这时，我们定义狄利克雷分布为：

狄利克雷分布是由一个向量**a*** 所控制的，其具有K（K=2）个元素。所以p(theta|a)*为给定a下的theta的概率。如下图，a中的两个元素（a，b）选取不同值的时候，theta的概率分布：

未完待续

Dirichlet Distribution狄利克雷分布 / Latent Dirichlet Allocation （LDA）隐藏狄利克雷概念的理解相关推荐

隐含狄利克雷分布(Latent Dirichlet Allocation）
隐含狄利克雷分布(Latent Dirichlet Allocation, 注意机器学习还有一个LDA,即线性判别分析(线性判别分析https://blog.csdn.net/qq_3529078 ...
二项分布_贝塔分布（multivariate Beta distribution）_多项分布_狄利克雷分布（Dirichlet distribution）_贝叶斯理论公式浅述
二项分布_贝塔分布(multivariate Beta distribution)_多项分布_狄利克雷分布(Dirichlet distribution)_贝叶斯理论公式浅述参考书籍<统计学习 ...
机器学习中的数学——常用概率分布（十一）：狄利克雷分布（Dirichlet分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
“西游记之大圣归来”短评主题分析-Latent Dirichlet Allocation
功能输出影评主题: 输出每份评论在各个主题上的权重分布. 工具 python2 spark2.0.2 引言在机器学习中,LDA是两个常用模型的简称:线性判别分析(Linear Discrimina ...
潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）
文章目录 1. 狄利克雷分布 2. 潜在狄利克雷分配模型 3. 学习推理 4. sklearn.decomposition.LatentDirichletAllocation 潜在狄利克雷分配(lat ...
狄利克雷分布公式_Dirichlet Distribution（狄利克雷分布）与Dirichlet Process（狄利克雷过程）...
Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程) Dirichlet Distribution(狄利克雷分布)与Dirichlet Pr ...
浅谈狄利克雷分布——Dirichlet Distribution
浅谈狄利克雷分布的概念与简单使用. 文章目录定义二项分布(Binomial Distribution) 多项分布(Multinomial Distribution) 贝塔分布(Beta Distr ...
狄利克雷过程（dirichlet process ）和分布
狄利克雷过程(dirichlet process )是目前变参数学习(non parameter)非常流行的一个理论,很多的工作都是基于这个理论来进行的,如HDP(hierarchical diric ...
主题模型TopicModel：隐含狄利克雷分布LDA
http://blog.csdn.net/pipisorry/article/details/42649657 主题模型LDA简介隐含狄利克雷分布简称LDA(Latent Dirichlet all ...

Dirichlet Distribution狄利克雷分布 / Latent Dirichlet Allocation （LDA）隐藏狄利克雷概念的理解

Dirichlet Distribution狄利克雷分布 / Latent Dirichlet Allocation （LDA）隐藏狄利克雷概念的理解相关推荐

最新文章

热门文章