贝叶斯公式和共轭分布

概率密度函数

概率密度函数是对于连续随机变量而言，对于离散随机变量没有所谓的概率密度。
连续随机变量的取值是无穷多个的，研究连续随机变量具体等于某个值的概率是没有意义的，该值很小几乎为0，只能研究某个区间内的概率。通常我们研究连续随机变量的概率，是研究随机变量XXX值落在区间[a,b][a,b][a,b]的概率，P([a,b])=∫abf(x)dxP([a,b])=\int_a^b f(x)dx P([a,b])=∫abf(x)dx其中f(x)f(x)f(x)为随机变量XXX概率密度函数，描述的是随机变量XXX落在取值范围“某单位区间“”内的概率大小。

概率分布函数

概率分布描述的是某个是事件空间，所有事件每个事件的发生的概率各是多少，其和自然为1。有了概率分布函数，就能够知道所有事件的发生概率。如扔色子事件，描述扔色子，点数为1、2、3、4、5、6朝上这六个事件，每个事件的概率各是多少，即概率分布。

离散随机变量

离散随机变量概率分布函数ϕ(x)=P(X=x)\phi(x)=P(X=x)ϕ(x)=P(X=x)

连续随机变量

连续随机变量概率分布函数
ϕ(x)=P(X<x)=∫xf(x)dx\phi(x)=P(X<x)=\int^x f(x)dxϕ(x)=P(X<x)=∫xf(x)dx与离散随机变量不同，连续随机变量分布函数不是指随机变量等于具体某个值的概率，而是指XXX取值落在取值的最左端到xxx这个区间的概率。若想求XXX取值落在[a,b]区间的概率，则等于
P([a,b])=ϕ(b)−ϕ(a)=∫abf(x)dxP([a,b])=\phi(b)-\phi(a)=\int_a^b f(x)dxP([a,b])=ϕ(b)−ϕ(a)=∫abf(x)dx

贝叶斯公式

P(A∣B)=P(B∣A)P(A)P(B)P(A|B)={P(B|A)P(A)\over P(B)}P(A∣B)=P(B)P(B∣A)P(A)
可以理解为，事件B是一个结果事件，导致事件B发生的原因有事件A、C两个(举例简单，只设两个原因)。现在已知事件B发生了，求是哪个原因事件导致的，就是一个追究责任，事件A导致的概率是

P(A∣B)=P(B∣A)P(A)P(B)=P(B∣A)P(A)P(B∣A)P(A)+P(B∣C)P(C)P(A|B)={P(B|A)P(A)\over P(B)}={P(B|A)P(A)\over {P(B|A)P(A)+P(B|C)P(C)}}P(A∣B)=P(B)P(B∣A)P(A)=P(B∣A)P(A)+P(B∣C)P(C)P(B∣A)P(A)

共轭分布

对于一个未知概率分布的问题，我们想求他的概率分布，该概率分布由参数θ\thetaθ决定，也就是说知道了θ\thetaθ就确定了问题的概率分布函数，解决了问题。但是我们不知道ϑ\varthetaϑ的取值是多少，根据经验，估计ϑ\varthetaϑ可能的取值，即取各个值的概率，也就是ϑ\varthetaϑ的概率分布，我们称为先验分布π（θ\thetaθ）。
此时，我们获取该问题的实际样本数据xxx，根据先验分布，我们假设θ\thetaθ取某个具体值，我们就得到了假设的问题概率分布P(x∣θ)P(x|\theta)P(x∣θ)称为似然函数。
那么在已知样本xxx的情况下，我们想知道，我们假设的θ\thetaθ对不对，求下他的概率是多少，可以利用贝叶斯公式计算。
P(θ∣x)=P(x∣θ)π(θ)P(x)=P(x∣θ)π(θ)∫P(x∣θ)π(θ)dθP(\theta|x)={P(x|\theta)π(\theta)\over P(x)}={P(x|\theta)π(\theta)\over \int P(x|\theta)π(\theta)d\theta}P(θ∣x)=P(x)P(x∣θ)π(θ)=∫P(x∣θ)π(θ)dθP(x∣θ)π(θ)
这是对连续随机变量来说，对于离散随机变量，分母是求和公式。P(θ∣x)P(\theta|x)P(θ∣x)称为后验分布。通顺理解就是θ\thetaθ有很多取值，每种取值下，对于的XXX的分布都是不一样的，用某一个θ\thetaθ下xxx发生的概率除以每个θ\thetaθ下对于xxx发生概率的和。
通常来讲，P(X∣θ)、π(θ)P(X|\theta)、π(\theta)P(X∣θ)、π(θ)都是用函数表达式表示，不会将θ\thetaθ具体取值。带入后验分布公式中，得到另一个表达式，当这个后验分布和先验分布是同一个分布时，我们称先验分布和似然函数为共轭分布，也就是我们先验分布假设的比较准确。

共轭分布的好处

共轭分布可以使得，在迭代求超参数θ\thetaθ时，可以用当前的后验概率代替下次的先验概率，减少计算。

贝叶斯公式和共轭分布相关推荐

LDA总结 (一) 共轭分布
今天开始,复习一下 LDA ,记录一些 LDA 的关键步骤,为写好论文做铺垫.第一节的主题是共轭分布,回忆贝叶斯公式: \[p(\theta|X) = \frac{p(\theta) \cdot p( ...
贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布
转:https://blog.csdn.net/xbmatrix/article/details/63253177 概述: 贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响 ...
先验分布、后验分布、共轭分布、共轭先验分布、
参考: http://blog.sina.com.cn/s/blog_b9a335010102vfdf.html 0. 贝叶斯公式 X为抽样样本,P(X)为我们抽到该样本的概率,有时被称为" ...
【联系】—— Beta 分布与二项分布、共轭分布
1. 伯努利分布与二项分布伯努利分布:Bern(x|μ)=μx(1−μ)1−x\text{Bern}(x|\mu)=\mu^{x}(1-\mu)^{1-x},随机变量 xx 取值为 0,1,μ\mu ...
先验信息，先验概率，先验分布，后验概率，后验分布，共轭分布，共轭先验分布
任何一个学科,最基本的就是概念,概念一定要清楚,清晰,否则概念都模棱两可的话,这之上的一切建筑都不牢固.很多概念可能长时间不使用就会变得模糊,所以在这里记录一下,输出是最好的记忆. 先验与后验的区别主 ...
共轭复数，共轭根式，共轭矩阵，共轭方向，共轭方向法，共轭梯度法，共轭分布，共轭函数，傅里叶变换的共轭对称
目录 1. 共轭复数 2. 傅里叶变换的共轭对称性 3. 共轭根式(radical conjugates) 4. 共轭矩阵(自共轭矩阵.Hermitian(埃尔米特)矩阵) 5. 共轭方向 6. 共轭 ...
先验分布，后验分布，共轭分布的关系
先考虑一下我们是如何解决一个概率问题的: 在一个实际问题中我们通常是根据经验选出一个模型,例如一个抛硬币可以抽象为伯努利分布(0-1分布)的模型,人的身高分布可以抽象为正态分布的模型,然后根据数据推算 ...
概率统计笔记：共轭分布
1 共轭的定义在概率统计笔记:贝叶斯推断 Bayesian Inference_UQI-LIUWJ的博客-CSDN博客中,我们有: 如果某个随机变量Θ的后验概率 p(θ|x)和先验概率p(θ)属于 ...
先验概率、后验概率和共轭分布详解
先验概率简单点理解,就是事件发生前的预判概率.这个概率是在没有其他条件的情况下我们自己给出的概率,它可以基于历史数据的统计得出,可以基于背景常识得出,也可以基于人的主观观点得出. 后验概率后验概率 ...
致敬贝叶斯以及自己对贝叶斯的一些见解
记得大二的时候,概率论里面有全概率公式这么一个东西,可是当时仅仅为了应付考试并没有体会到贝叶斯的强大,接触机器学习之后,渐渐体会到贝叶斯的神奇,也能通过贝叶斯来解释更多的模型. 贝叶斯由来与日常思维 ...