引言

上一节介绍了精确推断中的变量消去法，本节将针对变量消去法的弊端，介绍信念传播。

回顾：变量消去法及弊端

变量消去法(Variable Elimination,VE)是概率图精确推断的基础思想，其本质是通过 乘法对加法的分配律 思想进行简化运算。
已知一个贝叶斯网络表示如下：

上述节点的联合概率分布P(i1,i2,i3,i4,i5)\mathcal P(i_1,i_2,i_3,i_4,i_5)P(i1,i2,i3,i4,i5)表示如下：
P(i1,i2,i3,i4,i5)=∏k=15P(ik∣ipa(k))=P(i1)⋅P(i2∣i1)⋅P(i3∣i2)⋅P(i4∣i3)⋅P(i5∣i4)\begin{aligned} \mathcal P(i_1,i_2,i_3,i_4,i_5) & = \prod_{k=1}^5 \mathcal P(i_k \mid i_{pa(k)}) \\ & = \mathcal P(i_1) \cdot \mathcal P(i_2 \mid i_1) \cdot \mathcal P(i_3 \mid i_2) \cdot \mathcal P(i_4 \mid i_3) \cdot \mathcal P(i_5 \mid i_4) \end{aligned}P(i1,i2,i3,i4,i5)=k=1∏5P(ik∣ipa(k))=P(i1)⋅P(i2∣i1)⋅P(i3∣i2)⋅P(i4∣i3)⋅P(i5∣i4)
以i3,i5i_3,i_5i3,i5两个变量结点示例：

变量结点i5i_5i5的边缘概率分布表示如下：
其中Pi1(i2)\mathcal P_{i_1}(i_2)Pi1(i2)表示通过i1i_1i1积分从而得到i2i_2i2的边缘概率结果。
P(i5)=∑i1,i2,i3,i4P(i1,i2,i3,i4,i5)=∑i1,i2,i3,i4P(i1)⋅P(i2∣i1)⋅P(i3∣i2)⋅P(i4∣i3)⋅P(i5∣i4)=∑i4P(i5∣i4)⋅∑i3P(i4∣i3)⋅∑i2P(i3∣i2)⋅∑i1P(i2∣i1)⋅P(i1)=∑i4P(i5∣i4)⋅∑i3P(i4∣i3)⋅∑i2P(i3∣i2)⋅Pi1(i2)=⋯=Pi4(i5)\begin{aligned} \mathcal P(i_5) & = \sum_{i_1,i_2,i_3,i_4} \mathcal P(i_1,i_2,i_3,i_4,i_5) \\ & = \sum_{i_1,i_2,i_3,i_4} \mathcal P(i_1) \cdot \mathcal P(i_2 \mid i_1) \cdot \mathcal P(i_3 \mid i_2) \cdot \mathcal P(i_4 \mid i_3) \cdot \mathcal P(i_5 \mid i_4) \\ & = \sum_{i_4} \mathcal P(i_5 \mid i_4) \cdot \sum_{i_3} \mathcal P(i_4 \mid i_3) \cdot \sum_{i_2} \mathcal P(i_3 \mid i_2) \cdot \sum_{i_1} \mathcal P(i_2 \mid i_1) \cdot \mathcal P(i_1) \\ & = \sum_{i_4} \mathcal P(i_5 \mid i_4) \cdot \sum_{i_3} \mathcal P(i_4 \mid i_3) \cdot \sum_{i_2} \mathcal P(i_3 \mid i_2) \cdot \mathcal P_{i_1}(i_2) \\ & = \cdots \\ & = \mathcal P_{i_4}(i_5) \end{aligned}P(i5)=i1,i2,i3,i4∑P(i1,i2,i3,i4,i5)=i1,i2,i3,i4∑P(i1)⋅P(i2∣i1)⋅P(i3∣i2)⋅P(i4∣i3)⋅P(i5∣i4)=i4∑P(i5∣i4)⋅i3∑P(i4∣i3)⋅i2∑P(i3∣i2)⋅i1∑P(i2∣i1)⋅P(i1)=i4∑P(i5∣i4)⋅i3∑P(i4∣i3)⋅i2∑P(i3∣i2)⋅Pi1(i2)=⋯=Pi4(i5)
在贝叶斯网络中，i5i_5i5节点的计算顺序表示如下(蓝色箭头)：

这个操作和隐马尔可夫模型中的前向算法计算顺序相同，均是 从初始时刻出发，向目标时刻方向计算的过程。
不仅计算顺序相同，并且计算的操作也是非常近似的。即每一次迭代过程都需要对状态变量进行积分，从而转移到下一状态。
HMM模型前向算法(Forward Algorithm)迭代过程表示如下：
αt+1(j)=∑itbj(ot+1)⋅aij⋅αt(i)\alpha_{t+1}(j) = \sum_{i_t} b_j(o_{t+1}) \cdot a_{ij} \cdot \alpha_t(i)αt+1(j)=it∑bj(ot+1)⋅aij⋅αt(i)
其中αt(i)\alpha_t(i)αt(i)表示 ttt时刻之前所有观测变量o1,…,oto_1,\dots,o_to1,…,ot与ttt时刻状态变量iti_tit的联合概率分布；aija_{ij}aij表示状态转移矩阵A\mathcal AA的对应元素；bj(ot+1)b_j(o_{t+1})bj(ot+1)表示发射矩阵B\mathcal BB的对应元素；
αt(i)=P(o1,⋯,ot,it=qi∣λ)λ=(π,A,B)\alpha_t(i) = \mathcal P(o_1,\cdots,o_t,i_t = q_i \mid \lambda) \quad \lambda = (\pi,\mathcal A,\mathcal B)αt(i)=P(o1,⋯,ot,it=qi∣λ)λ=(π,A,B)
如果求解中间结点，如变量结点i3i_3i3的边缘概率分布表示如下：
P(i3)=∑i1,i2,i4,i5P(i1,i2,i3,i4,i5)=∑i1,i2,i4,i5P(i1)⋅P(i2∣i1)⋅P(i3∣i2)⋅P(i4∣i3)⋅P(i5∣i4)=(∑i2P(i3∣i2)∑i1P(i1)⋅P(i2∣i1))⋅(∑i4P(i4∣i3)∑i5P(i5∣i4))\begin{aligned} \mathcal P(i_3) & = \sum_{i_1,i_2,i_4,i_5} \mathcal P(i_1,i_2,i_3,i_4,i_5) \\ & = \sum_{i_1,i_2,i_4,i_5} \mathcal P(i_1) \cdot \mathcal P(i_2 \mid i_1) \cdot \mathcal P(i_3 \mid i_2) \cdot \mathcal P(i_4 \mid i_3) \cdot \mathcal P(i_5 \mid i_4) \\ & = \left(\sum_{i_2} \mathcal P(i_3 \mid i_2)\sum_{i_1} \mathcal P(i_1) \cdot \mathcal P(i_2 \mid i_1)\right) \cdot \left(\sum_{i_4} \mathcal P(i_4 \mid i_3) \sum_{i_5} \mathcal P(i_5 \mid i_4)\right) \\ \end{aligned}P(i3)=i1,i2,i4,i5∑P(i1,i2,i3,i4,i5)=i1,i2,i4,i5∑P(i1)⋅P(i2∣i1)⋅P(i3∣i2)⋅P(i4∣i3)⋅P(i5∣i4)=(i2∑P(i3∣i2)i1∑P(i1)⋅P(i2∣i1))⋅(i4∑P(i4∣i3)i5∑P(i5∣i4))
观察上式：等号左侧表示Pi2(i3)\mathcal P_{i_2}(i_3)Pi2(i3)；与右括号进行合并有：
需要注意的点:‘右括号’的项是对i4,i5i_4,i_5i4,i5进行积分。
由于i3,i4,i5i_3,i_4,i_5i3,i4,i5三个结点之间是‘顺序结构’，因此有P(i5∣i4,i3)=P(i5∣i4)\mathcal P(i_5 \mid i_4,i_3) = \mathcal P(i_5 \mid i_4)P(i5∣i4,i3)=P(i5∣i4)。
P(i3)=Pi2(i3)∑i4P(i4∣i3)⋅∑i5P(i5∣i4)=Pi2(i3)⋅∑i4,i5P(i4∣i3)⋅P(i5∣i4,i3)=∑i4,i5P(i5,i4∣i3)⋅Pi4(i3)=∑i4,i5P(i3,i4,i5)=Pi4,i5(i3)\begin{aligned} \mathcal P(i_3) & = \mathcal P_{i_2}(i_3) \sum_{i_4} \mathcal P(i_4 \mid i_3) \cdot \sum_{i_5} \mathcal P(i_5 \mid i_4) \\ & = \mathcal P_{i_2}(i_3) \cdot \sum_{i_4,i_5} \mathcal P(i_4 \mid i_3) \cdot \mathcal P(i_5 \mid i_4,i_3) \\ & = \sum_{i_4,i_5} \mathcal P(i_5,i_4 \mid i_3) \cdot \mathcal P_{i_4}(i_3)\\ & = \sum_{i_4,i_5} \mathcal P(i_3,i_4,i_5) \\ & = \mathcal P_{i_4,i_5}(i_3) \end{aligned}P(i3)=Pi2(i3)i4∑P(i4∣i3)⋅i5∑P(i5∣i4)=Pi2(i3)⋅i4,i5∑P(i4∣i3)⋅P(i5∣i4,i3)=i4,i5∑P(i5,i4∣i3)⋅Pi4(i3)=i4,i5∑P(i3,i4,i5)=Pi4,i5(i3)
当然，也可以将∑i4P(i4∣i3)\sum_{i_4} \mathcal P(i_4 \mid i_3)∑i4P(i4∣i3)，∑i5P(i5∣i4)\sum_{i_5} \mathcal P(i_5 \mid i_4)∑i5P(i5∣i4)均看做1(条件概率积分)：
Pi2(i3)∑i4P(i4∣i3)⋅∑i5P(i5∣i4)=Pi2(i3)⋅1⋅1=Pi2(i3)\mathcal P_{i_2}(i_3) \sum_{i_4} \mathcal P(i_4 \mid i_3) \cdot \sum_{i_5} \mathcal P(i_5 \mid i_4) = \mathcal P_{i_2}(i_3) \cdot 1\cdot 1 = \mathcal P_{i_2}(i_3)Pi2(i3)i4∑P(i4∣i3)⋅i5∑P(i5∣i4)=Pi2(i3)⋅1⋅1=Pi2(i3)
在贝叶斯网络中，i3i_3i3结点的计算顺序表示如下(红色箭头)：
准确的说，这个‘红色箭头’是基于‘无向图’的表示，而有向图只需要到达i4i_4i4结点即可停止了，因为i5⊥i3∣i4i_5 \perp i_3\mid i_4i5⊥i3∣i4,因此有∑i5P(i5∣i4)=1\sum_{i_5}\mathcal P(i_5 \mid i_4) = 1∑i5P(i5∣i4)=1

这种方法称之为前向-后向算法(Forward-Backward Algorithm)，通过观察发现，在计算变量结点i5i_5i5的概率P(i5)\mathcal P(i_5)P(i5)和变量结点i3i_3i3的概率P(i3)\mathcal P(i_3)P(i3)过程中，实际上对所有结点均执行了重复计算。

这也说明了变量消除法的弊端：在每次计算新的结点变量时，需要运行许多重复步骤；

信念传播

基于变量消去法的弊端，信念传播的朴素思想在于：将结点计算的中间过程固定住，采用动态规划的方法，在求解某一结点的边缘概率分布时，直接寻找到达该结点的路径，并通过查询的方式查找出路径上各节点的计算过程。

基于树结构图的信念传播(无环)

无论是贝叶斯网络还是马尔可夫随机场，都可以使用信念传播进行计算。以无向的树形结构图为例，介绍信念传播的计算过程：
树形图对应‘贝叶斯网络’中的‘有向无环图’。

上述图结构中变量结点的联合概率分布 表示如下：
该图中一共包含3个最大团，分别是{i1,i3},{i2,i3},{i4,i3}\{i_1,i_3\},\{i_2,i_3\},\{i_4,i_3\}{i1,i3},{i2,i3},{i4,i3}
P(i1,i2,i3,i4)=1Z[ψi1i3(i1,i3)⋅ψi2i3(i2,i3)⋅ψi3i4(i3,i4)]\begin{aligned} \mathcal P(i_1,i_2,i_3,i_4) = \frac{1}{\mathcal Z} \left[\psi_{i_1i_3}(i_1,i_3) \cdot \psi_{i_2i_3}(i_2,i_3) \cdot \psi_{i_3i_4}(i_3,i_4)\right] \end{aligned}P(i1,i2,i3,i4)=Z1[ψi1i3(i1,i3)⋅ψi2i3(i2,i3)⋅ψi3i4(i3,i4)]
如果求解i4i_4i4结点变量的边缘概率P(i4)\mathcal P(i_4)P(i4)，这意味着需要将剩余的三个变量结点i1,i2,i3i_1,i_2,i_3i1,i2,i3消掉。从消息传播的角度观察，消息传播的方向(变量消去的顺序)可表示为b1,b2,b3b_1,b_2,b_3b1,b2,b3(蓝色箭头)

同理，如计算变量结点i2i_2i2的边缘概率分布P(i2)\mathcal P(i_2)P(i2)，剩余结点的消去顺序为：b1,r3,r2b_1,r_3,r_2b1,r3,r2。
为了简化运算，将求解其他变量结点，再积分 的操作简化为 求解各变量结点的关联关系并存储起来，在计算过程中直接使用即可。
从结点消去顺序的角度求解变量结点i4i_4i4的边缘概率分布P(i4)\mathcal P(i_4)P(i4)：
P(i4)=∑i1,i2,i3P(i1,i2,i3,i4)\mathcal P(i_4) = \sum_{i_1,i_2,i_3} \mathcal P(i_1,i_2,i_3,i_4)P(i4)=i1,i2,i3∑P(i1,i2,i3,i4)
基于图结构，消去顺序为i1,i2,i3i_1,i_2,i_3i1,i2,i3或者i2,i1,i3i_2,i_1,i_3i2,i1,i3：

首先消去i2i_2i2，与i2i_2i2相关联的结点是i3i_3i3(b2b_2b2方向)：
将m2→3(i3)m_{2 \to 3}(i_3)m2→3(i3)记作‘将i2i_2i2积分掉后，关于i3i_3i3的势函数结果。后面同理’
∑i2ψ23(i2,i3)=m2→3(i3)\sum_{i_2} \psi_{23}(i_2,i_3) = m_{2 \to 3}(i_3)i2∑ψ23(i2,i3)=m2→3(i3)
消去i1i_1i1，与i1i_1i1相关的结点是i3i_3i3(b1b_1b1方向)：
∑i1ψ13(i1,i3)=m1→3(i3)\sum_{i_1} \psi_{13}(i_1,i_3) = m_{1 \to 3}(i_3)i1∑ψ13(i1,i3)=m1→3(i3)
消去i3i_3i3，与i3i_3i3相关的点是i1,i2,i4i_1,i_2,i_4i1,i2,i4，基于前面两个结点变量的积分结果，i3i_3i3积分结果表示如下(多一个b3b_3b3方向)：
m3→4(i4)=∑i3ψ34(i3,i4)⋅∑i1ψ13(i1,i3)⋅∑i2ψ23(i2,i3)=∑i3ψ34(i3,i4)⋅m2→3(i3)⋅m1→3(i3)m_{3 \to 4}(i_4) = \sum_{i_3}\psi_{34}(i_3,i_4) \cdot \sum_{i_1} \psi_{13}(i_1,i_3) \cdot \sum_{i_2} \psi_{23}(i_2,i_3) = \sum_{i_3}\psi_{34}(i_3,i_4) \cdot m_{2 \to 3}(i_3) \cdot m_{1 \to 3}(i_3)m3→4(i4)=i3∑ψ34(i3,i4)⋅i1∑ψ13(i1,i3)⋅i2∑ψ23(i2,i3)=i3∑ψ34(i3,i4)⋅m2→3(i3)⋅m1→3(i3)
在信念传播算法中，结点的边际分布(如P(i4)\mathcal P(i_4)P(i4))正比于它所接收的消息的乘积。由于结点i4i_4i4在图中只与i3i_3i3存在直接相连的边，因此P(i4)\mathcal P(i_4)P(i4)有：
P(i4)∝m3→4(i4)\mathcal P(i_4) \propto m_{3 \to 4}(i_4)P(i4)∝m3→4(i4)

经过整理，P(i4)\mathcal P(i_4)P(i4)可表示如下：
P(i4)∝∑i3ψ34(i3,i4)⋅m2→3(i3)⋅m1→3(i3)\mathcal P(i_4) \propto \sum_{i_3} \psi_{34}(i_3,i_4) \cdot m_{2 \to 3}(i_3) \cdot m_{1 \to 3}(i_3)P(i4)∝i3∑ψ34(i3,i4)⋅m2→3(i3)⋅m1→3(i3)
关于信念传播的通式可表示如下：
假设给定无环图结构，求解某变量结点P(xi)\mathcal P(x_i)P(xi)的边缘概率分布：

图结构中的所有结点开始向变量结点xix_ixi方向传递消息，结点与结点之间的消息传递方式 表示为：
其中jjj是kkk的某个临接变量，将其他结点的消息传递给结点jjj,最后通过结点jjj传递给结点kkk;
其中n(i)n(i)n(i)表示变量结点xix_ixi的临接变量集合。
mj→k(xk)=∑xjψjk(xj,xk)⋅∏l∈n(i),l≠kml→j(xj)m_{j \to k}(x_k) = \sum_{x_j}\psi_{jk}(x_j,x_k) \cdot \prod_{l \in n(i),l \neq k} m_{l \to j}(x_j)mj→k(xk)=xj∑ψjk(xj,xk)⋅l∈n(i),l=k∏ml→j(xj)
待求解节点的边际分布与其临接变量接收结果的乘积成正比：
P(xi)∝∏k∈n(i)mk→i(xi)\mathcal P(x_i) \propto \prod_{k \in n(i)} m_{k \to i}(x_i)P(xi)∝k∈n(i)∏mk→i(xi)

示例：使用信念传播求解边际概率分布(无环)

已知如下无向图，求解i3i_3i3的边际概率分布P(i3)\mathcal P(i_3)P(i3)：
由于是无环图，因此最大团中结点数量 = 2

既然求解i3i_3i3的边际概率分布P(i3)\mathcal P(i_3)P(i3)，首先观察变量结点i3i_3i3的临接变量结点有i1,i2,i4i_1,i_2,i_4i1,i2,i4：
- 表示出变量结点i1,i2,i4i_1,i_2,i_4i1,i2,i4向i3i_3i3的接收消息：
  m1→3(i3),m2→3(i3),m4→3(i3)m_{1 \to 3}(i_3),m_{2 \to 3}(i_3),m_{4 \to 3}(i_3)m1→3(i3),m2→3(i3),m4→3(i3)
- 边际概率分布P(i3)\mathcal P(i_3)P(i3)可表示为：
  P(i4)∝m1→3(i3)⋅m2→3(i3)⋅m4→3(i3)\mathcal P(i_4) \propto m_{1 \to 3}(i_3) \cdot m_{2 \to 3}(i_3) \cdot m_{4 \to 3}(i_3)P(i4)∝m1→3(i3)⋅m2→3(i3)⋅m4→3(i3)
首先观察发送消息m4→3(i3)m_{4 \to 3}(i_3)m4→3(i3)的变量结点i4i_4i4，除去i3i_3i3结点外无其他结点与其相连，因此结点i3i_3i3从i4i_4i4方向接收的消息只有i4i_4i4结点一个；
m4→3(i3)=∑i4ψ43(i4,i3)m_{4 \to 3}(i_3) = \sum_{i_4}\psi_{43}(i_4,i_3)m4→3(i3)=i4∑ψ43(i4,i3)
观察发送消息m1→3(i3)m_{1 \to 3}(i_3)m1→3(i3)的变量结点i1i_1i1，除去i3i_3i3结点外还有i6,i7i_6,i_7i6,i7与i1i_1i1相连，因此结点i1i_1i1接收的信息可表示为：
m6→1(i1)⋅m7→1(i1)=∑i6ψ61(i6,i1)⋅∑i7ψ71(i7,i1)m_{6 \to 1}(i_1) \cdot m_{7 \to 1}(i_1) = \sum_{i_6} \psi_{61}(i_6,i_1) \cdot \sum_{i_7} \psi_{71}(i_7,i_1)m6→1(i1)⋅m7→1(i1)=i6∑ψ61(i6,i1)⋅i7∑ψ71(i7,i1)
从而i3i_3i3从i1i_1i1方向接收的消息m1→3(i3)m_{1 \to 3}(i_3)m1→3(i3)可表示为：
m1→3(i3)=∑i1ψ13(i1,i3)⋅m6→1(i1)⋅m7→1(i1)=∑i1ψ13(i1,i3)∑i6ψ61(i6,i1)∑i7ψ71(i7,i1)\begin{aligned} m_{1 \to 3}(i_3) & = \sum_{i_1} \psi_{13}(i_1,i_3) \cdot m_{6 \to 1}(i_1) \cdot m_{7 \to 1}(i_1) \\ & = \sum_{i_1} \psi_{13}(i_1,i_3) \sum_{i_6} \psi_{61}(i_6,i_1) \sum_{i_7} \psi_{71}(i_7,i_1) \end{aligned}m1→3(i3)=i1∑ψ13(i1,i3)⋅m6→1(i1)⋅m7→1(i1)=i1∑ψ13(i1,i3)i6∑ψ61(i6,i1)i7∑ψ71(i7,i1)
同理，观察发送消息m2→3(i3)m_{2 \to 3}(i_3)m2→3(i3)的变量结点i2i_2i2，除去i3i_3i3结点外还有i8,i9i_8,i_9i8,i9与i2i_2i2相连，因此结点i2i_2i2接收的信息可表示为：
m8→2(i2)⋅m9→2(i2)=∑i8ψ82(i8,i2)⋅∑i9ψ92(i9,i2)m_{8 \to 2}(i_2) \cdot m_{9\to 2}(i_2) = \sum_{i_8} \psi_{82}(i_8,i_2) \cdot \sum_{i_9} \psi_{92}(i_9,i_2)m8→2(i2)⋅m9→2(i2)=i8∑ψ82(i8,i2)⋅i9∑ψ92(i9,i2)
从而i3i_3i3从i2i_2i2方向接收的消息m2→3(i3)m_{2 \to 3}(i_3)m2→3(i3)可表示为：
m2→3(i3)=∑i2ψ23(i2,i3)⋅m8→2(i2)⋅m9→2(i2)=∑i2ψ23(i2,i3)∑i8ψ82(i8,i2)∑i9ψ92(i9,i2)\begin{aligned} m_{2 \to 3}(i_3) & = \sum_{i_2} \psi_{23}(i_2,i_3) \cdot m_{8 \to 2}(i_2) \cdot m_{9\to 2}(i_2) \\ & = \sum_{i_2} \psi_{23}(i_2,i_3) \sum_{i_8} \psi_{82}(i_8,i_2)\sum_{i_9} \psi_{92}(i_9,i_2) \end{aligned}m2→3(i3)=i2∑ψ23(i2,i3)⋅m8→2(i2)⋅m9→2(i2)=i2∑ψ23(i2,i3)i8∑ψ82(i8,i2)i9∑ψ92(i9,i2)
最终，P(i4)\mathcal P(i_4)P(i4)可表示为：
P(i4)∝m1→3(i3)⋅m2→3(i3)⋅m4→3(i3)=[∑i1ψ13(i1,i3)∑i6ψ61(i6,i1)∑i7ψ71(i7,i1)]⋅[∑i2ψ23(i2,i3)∑i8ψ82(i8,i2)∑i9ψ92(i9,i2)]⋅∑i4ψ43(i4,i3)\begin{aligned} \mathcal P(i_4) & \propto m_{1 \to 3}(i_3) \cdot m_{2 \to 3}(i_3) \cdot m_{4 \to 3}(i_3) \\ & = \left[\sum_{i_1} \psi_{13}(i_1,i_3) \sum_{i_6} \psi_{61}(i_6,i_1) \sum_{i_7} \psi_{71}(i_7,i_1)\right] \cdot \left[\sum_{i_2} \psi_{23}(i_2,i_3) \sum_{i_8} \psi_{82}(i_8,i_2)\sum_{i_9} \psi_{92}(i_9,i_2)\right] \cdot \sum_{i_4}\psi_{43}(i_4,i_3) \end{aligned}P(i4)∝m1→3(i3)⋅m2→3(i3)⋅m4→3(i3)=[i1∑ψ13(i1,i3)i6∑ψ61(i6,i1)i7∑ψ71(i7,i1)]⋅[i2∑ψ23(i2,i3)i8∑ψ82(i8,i2)i9∑ψ92(i9,i2)]⋅i4∑ψ43(i4,i3)

下一节将介绍最大乘积算法(Max-Product Algorithm)

相关参考：
机器学习-周志华著
机器学习-概率图模型10-推断Inference-Belief Propagation（1）

机器学习笔记之概率图模型(八)信念传播(Belief Propagation,BP)(基于树结构)相关推荐

机器学习笔记之概率图模型(六)推断基本介绍
机器学习笔记之概率图模型--推断的基本介绍引言回顾:贝叶斯学派与推断推断的系统介绍场景构建推断的任务推断方法介绍回顾:隐马尔可夫模型中的推断问题引言前面部分分别介绍了贝叶斯网络(Ba ...
机器学习笔记之概率图模型(一)背景介绍
机器学习笔记之概率图模型--背景介绍引言背景介绍联合概率分布的求解困境条件独立性假设概率图的分类总结引言从本节开始将介绍概率图模型. 背景介绍概率图模型(Probabilistic ...
机器学习笔记之概率图模型(十)因子图
机器学习笔记之概率图模型--因子图引言回顾:图结构相关思想因子图因子图的特点引言本节针对精确推断之变量消去法中出现的存在环结构概率图的情况,介绍因子图(Factor Graph),其主要将 ...
机器学习笔记之概率图模型(四)基于贝叶斯网络的模型概述
机器学习笔记之概率图模型--基于贝叶斯网络的模型概述引言基于贝叶斯网络的模型场景构建朴素贝叶斯分类器混合模型基于时间变化的模型特征是连续型随机变量的贝叶斯网络动态概率图模型总结引言 ...
机器学习笔记：概率图模型
公众号关注 "视学算法" 设为 "星标",DLCV消息即可送达! 来自 | 知乎作者丨苏一来源丨https://zhuanlan.zhihu.com/p/5 ...
概率图模型中信念传播
和大家分享一个讲的比较好的博客: https://blog.csdn.net/qq_23947237/article/details/78389188 分成不用系列进行讲解,很细,写的很明白,很适合刚 ...
机器学习-白板推导-系列（九）笔记：概率图模型: 贝叶斯网络/马尔可夫随机场/推断/道德图/因子图
文章目录 0 笔记说明 1 背景介绍 1.1 概率公式 1.2 概率图简介 1.2.1 表示 1.2.2 推断 1.2.3 学习 1.2.4 决策 1.3 图 2 贝叶斯网络 2.1 条件独立性 2. ...
【07】概率图推断之信念传播
概率图推断之信念传播文章目录将变量消除视为信息传递信息传递算法加总乘积信息传递因子树上的加总乘积信息传递最大乘积信息传递总结在<概率图推断之变量消除算法>中,我们讲了变量消 ...
【机器学习系列】概率图模型第三讲：深入浅出无向图中的条件独立性和因子分解
作者:CHEONG 公众号:AI机器学习与知识图谱研究方向:自然语言处理与知识图谱阅读本文之前,先注意一下两点: 1. 机器学习系列文章常含有大量公式推导证明,为了更好理解,文章在最开始会给出本文 ...
机器学习笔记（二十八）：高斯核函数
凌云时刻 · 技术导读:核函数是机器学习算法中一个重要的概念.简单来讲,核函数就是样本数据点的转换函数.这一节我们来看看应用非常广泛的一个核函数,高斯核函数. 作者 | 计缘来源 | 凌云时刻(微 ...

机器学习笔记之概率图模型(八)信念传播(Belief Propagation,BP)(基于树结构)

机器学习笔记之概率图模型——信念传播（基于树结构）

引言

回顾：变量消去法及弊端

信念传播

基于树结构图的信念传播(无环)

示例：使用信念传播求解边际概率分布(无环)

机器学习笔记之概率图模型(八)信念传播(Belief Propagation,BP)(基于树结构)相关推荐

最新文章

热门文章