AI笔记: 数学基础之贝叶斯公式(概率公式)

贝叶斯公式

贝叶斯公式：P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)
- P(A): 在没有数据支持下，A发生的概率：先验概率或边缘概率
- P(A|B): 在已知B发生后A的条件概率，也就是由于得自B的取值而被称为A的后验概率
- P(B|A): 在已知A发生的情况下的概率分布，似然函数
设A1、A2...AnA_1、A_2...A_nA1、A2...An是样本空间Ω\OmegaΩ的一个划分，如果对任意事件B而言，有P(B)>0P(B) > 0P(B)>0, 那么
P(Ai∣B)=P(B,Ai)P(B)=P(Ai)⋅P(B∣Ai)∑j=1nP(Aj)⋅P(B∣Aj)P(A_i | B) = \frac{P(B, A_i)}{P(B)} = \frac{P(A_i)·P(B | A_i)}{\sum_{j=1}^n P(A_j)·P(B|A_j)}P(Ai∣B)=P(B)P(B,Ai)=∑j=1nP(Aj)⋅P(B∣Aj)P(Ai)⋅P(B∣Ai)

备注：图片托管于github，请确保网络的可访问性

例1

一座房子在过去20年里一共发生过2次被盗案，房子的主人养了一条狗，狗平均每周晚上叫3次，在盗贼入侵时狗叫的概率估计为0.9，求：在狗叫的时候发生入侵的概率是多少？
分析：
- 设A={狗叫} B={盗贼入侵}

例2

用某种方法普查肝癌，设：A={用此方法判断被检查者患有肝癌}，D={被检查者确实患有肝癌}，已知 P(A∣D)=0.95,P(Aˉ∣Dˉ)=0.90P(A|D) = 0.95, P(\bar{A} | \bar{D}) = 0.90P(A∣D)=0.95,P(Aˉ∣Dˉ)=0.90, 而且已知：P(D)=0.0004P(D) = 0.0004P(D)=0.0004
现有一人用此方法检验患有肝癌，求此人真正患有肝癌的概率
分析：
- 已知，P(A∣D)=0.95，P(Aˉ∣Dˉ)=0.90,P(D)=0.0004P(A|D) = 0.95， P(\bar{A}|\bar{D}) = 0.90, P(D) = 0.0004P(A∣D)=0.95，P(Aˉ∣Dˉ)=0.90,P(D)=0.0004
- 所以，由Bayes公式，得 P(D∣A)=P(DA)P(A)=P(D)P(A∣D)P(D)P(A∣D)+P(Dˉ)P(A∣Dˉ)=0.0004×0.950.0004×0.95+0.9996×0.10=0.0038P(D|A) = \frac{P(DA)}{P(A)} = \frac{P(D)P(A|D)}{P(D)P(A|D) + P(\bar{D})P(A|\bar{D})} = \frac{0.0004 × 0.95}{0.0004 × 0.95 + 0.9996 × 0.10} = 0.0038P(D∣A)=P(A)P(DA)=P(D)P(A∣D)+P(Dˉ)P(A∣Dˉ)P(D)P(A∣D)=0.0004×0.95+0.9996×0.100.0004×0.95=0.0038

概率公式

P(A∣B)=P(AB)P(B)P(A|B) = \frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)
P(B)=∑i=1nP(Ai)P(B∣Ai)P(B) = \sum_{i=1}^nP(A_i)P(B|A_i)P(B)=∑i=1nP(Ai)P(B∣Ai)
P(Ai∣B)=P(B∣Ai)P(Ai)∑j=1nP(Aj)P(B∣Aj)P(A_i | B) = \frac{P(B|A_i)P(A_i)}{\sum_{j=1}^n P(A_j)P(B|A_j)}P(Ai∣B)=∑j=1nP(Aj)P(B∣Aj)P(B∣Ai)P(Ai)

备注：图片托管于github，请确保网络的可访问性

事件的独立性

给定A、B两个事件，如果概率存在P(A,B)=P(A)P(B)P(A,B) = P(A)P(B)P(A,B)=P(A)P(B) (A、B事件的联合分布概率等于事件各自分布概率的积)，则事件A和B相互独立
如果事件A、B相互独立，互不影响，那么存在P(A∣B)=P(A),P(B∣A)=P(B)P(A|B) = P(A), P(B|A) = P(B)P(A∣B)=P(A),P(B∣A)=P(B)

例1

袋中有a只黑球，b只白球. 每次从中取出一球，令：
- A={第一次取出白球}，
- B={第二次取出白球}，
分有放回和不放回情形讨论 P(A),P(B),P(B∣A)P(A), P(B), P(B|A)P(A),P(B),P(B∣A)
分析
- (1)有放回情形
  - P(A)=ba+bP(A) = \frac{b}{a+b}P(A)=a+bb
  - P(AB)=b2(a+b)2P(AB) = \frac{b^2}{(a+b)^2}P(AB)=(a+b)2b2, 同理 P(AˉB)=ab(a+b)2P(\bar{A}B) = \frac{ab}{(a+b)^2}P(AˉB)=(a+b)2ab
  - 所以，由 B=AB∪AˉBB = AB \cup \bar{A}BB=AB∪AˉB
  - 得：P(B)=P(AB)+P(AˉB)=b2(a+b)2+ab(a+b)2=ba+bP(B) = P(AB) + P(\bar{A}B) = \frac{b^2}{(a+b)^2} + \frac{ab}{(a+b)^2} = \frac{b}{a+b}P(B)=P(AB)+P(AˉB)=(a+b)2b2+(a+b)2ab=a+bb,
  - 而，P(B∣A)=P(AB)P(A)=b2(a+b)2ba+b=ba+bP(B|A) = \frac{P(AB)}{P(A)} = \frac{\frac{b^2}{(a+b)^2}}{\frac{b}{a+b}} = \frac{b}{a+b}P(B∣A)=P(A)P(AB)=a+bb(a+b)2b2=a+bb
- (2) 不放回情形
  - P(A)=ba+bP(A) = \frac{b}{a+b}P(A)=a+bb
  - P(AB)=b(b−1)(a+b)(a+b−1)P(AB) = \frac{b(b-1)}{(a+b)(a+b-1)}P(AB)=(a+b)(a+b−1)b(b−1), 同理 P(AˉB)=ab(a+b)(a+b−1)P(\bar{A}B) = \frac{ab}{(a+b)(a+b-1)}P(AˉB)=(a+b)(a+b−1)ab
  - 所以，P(B)=P(AB)+P(AˉB)=b(b−1)(a+b)(a+b−1)+ab(a+b)(a+b−1)=ba+bP(B) = P(AB) + P(\bar{A}B) = \frac{b(b-1)}{(a+b)(a+b-1)} + \frac{ab}{(a+b)(a+b-1)} = \frac{b}{a+b}P(B)=P(AB)+P(AˉB)=(a+b)(a+b−1)b(b−1)+(a+b)(a+b−1)ab=a+bb
  - 而，P(B∣A)=P(AB)P(A)=b(b−1)(a+b)(a+b−1)ba+b=b−1a+b−1P(B|A) = \frac{P(AB)}{P(A)} = \frac{\frac{b(b-1)}{(a+b)(a+b-1)}}{\frac{b}{a+b}} = \frac{b-1}{a+b-1}P(B∣A)=P(A)P(AB)=a+bb(a+b)(a+b−1)b(b−1)=a+b−1b−1

例2

袋中装有4个外形相同的球，其中三个球分别涂有红、白、黑色，另一个球涂有红、白、黑三种颜色. 现从袋中任意取出一球，令：
- A={取出的球涂有红色}
- B={取出的球涂有白色}
- C={取出的球涂有黑色}
则：P(A)=P(B)=P(C)=12,P(AB)=P(BC)=P(AC)=14,P(ABC)=14P(A) = P(B) = P(C) = \frac{1}{2}, \ \ \ P(AB) = P(BC) = P(AC) = \frac{1}{4}, \ \ \ P(ABC) = \frac{1}{4}P(A)=P(B)=P(C)=21, P(AB)=P(BC)=P(AC)=41, P(ABC)=41
由此，P(AB)=P(A)P(B),P(BC)=P(B)P(C),P(AC)=P(A)P(C)P(AB) = P(A)P(B), \ \ \ P(BC) = P(B)P(C), \ \ \ P(AC) = P(A)P(C)P(AB)=P(A)P(B), P(BC)=P(B)P(C), P(AC)=P(A)P(C)
但是P(ABC)=14≠18=P(A)P(B)P(C)P(ABC) = \frac{1}{4} \neq \frac{1}{8} = P(A)P(B)P(C)P(ABC)=41=81=P(A)P(B)P(C)
这表明，A、B、C 这三个事件是两两独立的，但不是相互独立的. (三个事件相互独立, 指任何两个两两独立，三个也独立)

AI笔记: 数学基础之贝叶斯公式(概率公式)相关推荐

AI笔记: 数学基础之概率与统计
概率 1 )概率与频率概率是一个稳定的数值,也就是某件事发生或不发生的概率是多少. 频率是在一定数量的某件事情上面,发生的数与总数的比值. 假设事件A的概率是0.3,在100次中发生28次,那么它的 ...
AI笔记: 数学基础之函数的导数应用及求导公式
关于导数导数是数学中非常重要的概念,它能反应出速度变化的快慢,尤其在AI的算法分析,优化以及数据挖掘中用到很多导数的引出引例1 变速直线运动的速度 s是距离,t是时间,v是速度设描述指点运动的 ...
AI笔记: 数学基础之导数的应用：泰勒Taylor公式
Taylor公式的应用机器学习中广泛应用,数学建模,线性回归,预测等领域关于Taylor公式 Taylor公式是用一个函数在某点的信息描述其附近取值的公式,如果函数足够平滑,在已知函数在某一点的各 ...
AI笔记: 数学基础之联合概率、条件概率与全概率公式
联合概率表示两个事件共同发生的概率,事件A和事件B的共同概率记为:P(AB).P(A,B)P(AB).P(A,B)P(AB).P(A,B) 或者P(A∩B)P(A \cap B)P(A∩B), 记为 ...
AI笔记: 数学基础之二项分布与二项式定理
概率试验 1.投掷一个骰子投掷5次 2.某人射击1次,击中目标的概率是0.8, 他射击10次: 3.一个盒子中装有5个球(3红2白),有放回依次从中抽取5个球 4.生产一种零件,出现次品的概率是0.0 ...
AI笔记: 数学基础之直线、圆和方程
直线 1 ) 表示直线的几种形式一般式:ax+by+c=0ax + by + c = 0ax+by+c=0 (a,b不能同时为0) 点斜式:y−y1=k(x−x1)y - y_1 = k(x - x ...
AI笔记: 数学基础之数字特征-标准差、协方差、相关系数、中心矩、原点矩、峰度、偏度
标准差标准差(Standard Deviation)是离均值平方的算术平均数的平方根,用符号 σ \sigma σ 表示,其实标准差就是方差的算术平方根标准差和方差都是测量离散趋势的最重要.最常见 ...
AI笔记: 数学基础之角的概念和三角常用公式推导
关于角 1 ) 角的概念在数学和物理中,弧度是角的度量单位.它是由国际单位制导出的单位同一三角形中, 等边对等角, 等角对等边直角三角形中, 30度角所对边等于斜边一半直角三角形中, 斜边中线 ...
AI笔记: 数学基础之数字特征-期望与方差
关于 3 σ 3\sigma 3σ法则备注:图片托管于github,请确保网络的可访问性 3 σ 3\sigma 3σ法则: 3 σ 3\sigma 3σ之外的数据可认为异常数据期望期望(mea ...
AI笔记: 数学基础之向量组的线性表示与线性相关
向量组向量组:有限个相同维度的行向量或列向量组合成的一个集合就叫做向量组A 如果是行向量,那么表示为:A=(a1⃗a2⃗a3⃗⋮an⃗⋮)A = \left (\begin{array}{cccc} ...

AI笔记: 数学基础之贝叶斯公式(概率公式)

贝叶斯公式

概率公式

事件的独立性

AI笔记: 数学基础之贝叶斯公式(概率公式)相关推荐

最新文章

热门文章