【机器学习中的数学】多项式分布及其共轭分布

2024-04-17 10:46:52

【机器学习中的数学】多项式分布及其共轭分布

多项变量(Multinomial Variables)

二元变量是用来描述只有两种可能值的量，而当我们遇到一种离散变量，其可以有K种可能的状态。我们可以使用一个K维的向量x表示，其中只有一维xk为1，其余为0。对应于xk=1的参数为μk，表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。

现在我们考虑N个独立的观测D={x1,…,xN}，得到其似然函数。如图：

多项式分布(The Multinomial distribution)

现在我们考虑k个变量的联合分布，依赖于参数μ和N次观测，这就构成了多项式分布。

狄利克雷分布(The DIrichlet distribution)

为了方便起见，如果先验分布和似然函数有类似的结构，这样得到的后验分布就只是指数幂的参数的相加，但形式没有太大变化，这样就使得先验和后验分布有相同的形式，简化了计算。

下面是三个变量的狄利克雷分布的图形，其中左图{αk}=0.1，中图{αk}=1，右图{αk}=10：

最大后验估计

转载请注明作者Jason Ding及其出处
Github主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)

【机器学习中的数学】多项式分布及其共轭分布相关推荐

机器学习中的数学——常用概率分布（十一）：狄利克雷分布（Dirichlet分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（九）：经验分布（Empirical分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（四）：均匀分布（Uniform分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（二）：范畴分布（Multinoulli分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（一）：伯努利分布（Bernoulli分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（五）：高斯分布（Gaussian分布）/正态分布（Normal分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（八）：狄拉克分布（Dirac分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（七）：拉普拉斯分布（Laplace分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（十）：贝塔分布（Beta分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（六）：指数分布（Exponential分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...

最新文章

热门文章