基础知识

条件概率（Conditional Probability）

相互独立时，p(A | B) = p(A)

贝叶斯规则

贝叶斯网络（Bayesian Network）定了一个独立的结构：一个节点的概率仅依赖于它的父节点。贝叶斯网络适用于稀疏模型，即大部分节点之间不存在任何直接的依赖关系。

联合概率（Joint Probability）

表示所有节点共同发生的概率，将所有条件概率相乘：

我们最终的目标是计算准确的边缘概率（Marginal Probability），比如计算Hangover的概率，边缘概率为各种状态下所有其他节点对本节点影响的概率的和。

边缘概率（Marginal Probability）

即某个事件发生的概率，而与其它事件无关。边缘概率是这样计算的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（在两个离散随机变量的条件下，对于其中任一行或任一列求和，得到的概率就是边缘概率）。在本例中，针对不同的Hangover进行求和，得到的就是Hangover的边缘概率：

如果贝叶斯网络比较小，我们可以很简单的做边缘求和运算，但是如果问题规模较大，整个运算复杂度和数据将会以指数级增长。而利用BP算法去计算这样的网络问题，可以使得运算复杂度只和节点数线性相关。在这种意义上，BP算法在大型贝叶斯网络推断问题中扮演着越来越重要的作用。

马尔科夫随机场（Markov Random Field，MRF）

在概率图模型中，每个结点表示一个随机变量，结点之间的边表示这些随机变量之间的概率关系。在概率图模型中，所有随机变量的联合概率分布可以表示成若干随机变量子集的乘积。典型的概率图模型包括贝叶斯网和马尔科夫网。贝叶斯网是有向图模型， 用于表示随机变量之间的因果关系，而马尔科夫网是无向图模型， 用于表示随机变量的概率分布和概率推理，或者说是随机变量之间的软约束关系。

BP算法的基础就是建立于MRF上，MRF是一种条件概率模型，它可以被认为是马尔科夫链的一种推广，其对于场内所有节点的相关性都能很有效的描述。

假设我们观察到yi的一些信息，需要利用这些已知信息去推断关于隐含的场景xi的另外一些信息。每个顶点i都有一个状态值xi和一个观测值yi，每个状态值和观测值之间的似然函数为Фi(xi,yi)，反映了i处的 xi和 yi存在统计依赖性，表示节点i的联合相容度，相邻邻居节点之间的势能量为Ψij(xi,xj)，Ψij(xi,xj)也称为相邻节点之间的不连续代价，反映了节点变量 xi 和 xj 之间的相容性，体现了随机场自身具备的约束条件。

置信度传播(Belief Propagation，BP)

置信度传播算法利用结点与结点之间相互传递信息而更新当前整个MRF的标记状态，是基于MRF的一种近似计算。该算法是一种迭代的方法，可以解决概率图模型概率推断问题，而且所有信息的传播可以并行实现。经过多次迭代后，所有结点的信度不再发生变化，就称此时每一个结点的标记即为最优标记，MRF也达到了收敛状态。对于无环环路的MRF，BP算法可以收敛到其最优解。

BP算法的两个关键过程：（1）通过加权乘积计算所有的局部消息；（2）节点之间概率消息在随机场中的传递。

有了消息更新规则以及置信度计算公式，就可以先任意初始化每个bi(xi)b_i(x_i)bi(xi)，然后迭代的求解mijm_{ij}mij和bi(xi)b_i(x_i)bi(xi)直至收敛，也就是说mijm_{ij}mij不再发生变化。也就是说首先对一些初始节点的消息赋初值，然后多次迭代消息传播和置信度更新直到它们稳定，最后就能从置信度中获取相应的概率。

置信度替换为概率：

bi(xi)b_i(x_i)bi(xi)为节点iii的联合概率分布，其中mji(xi)m_{ji}(x_{i})mji(xi)代表隐含节点jjj传递给隐含节点i的消息，表明了隐含节点iii对隐含节点jjj当前状态的影响。Фi(xi,yi)Ф_i(x_i,y_i)Фi(xi,yi) 表示节点iii的局部证据，表示节点iii的联合相容度。节点i的置信度bi(xi)b_i(x_i)bi(xi)与iii的邻域向iii传递的所有消息的乘积成正比，同时也正比于Фi(xi,yi)Ф_i(x_i,y_i)Фi(xi,yi) ，1/zi1/z_i1/zi为归一化常数，可使置信度的和为1，N(i)N(i)N(i) 为节点i的MRF一阶邻域。

消息传播的信息：

包含所有其他传入节点i的消息乘积，N(j)/iN(j) / iN(j)/i表示节点j的MRF一阶邻域中排除掉目标节点i的邻域。

有了消息更新规则以及置信度计算公式，就可以先任意初始化每个bi(xi)b_i(x_i)bi(xi)，然后迭代的求解mijm_{ij}mij和bi(xi)b_i(x_i)bi(xi)直至收敛，也就是说mijm_{ij}mij不再发生变化。也就是说首先对一些初始节点的消息赋初值，然后多次迭代消息传播和置信度更新直到它们稳定，最后就能从置信度中获取相应的概率。

置信度传播算法中迭代运算步骤可以表示如下:

（1）随机选择相邻的隐含节点xix_ixi,xjx_jxj

（2）从xix_ixi向xjx_jxj发送消息mijm_{ij}mij

（3）更新节点xjx_jxj的置信度

（4）跳至步骤（1），直到算法收敛

在以此为规则的计算中，从无环图的边缘节点开始传播，然后如果一个节点所有相邻节点的消息都已经计算出来，则计算该节点的消息。易得整个无环图仅仅只需计算一遍就可以得到所有隐含节点的边缘概率分布。可以看出，BP 算法相对于一般的算法，时间复杂度上是大幅下降的。

置信传播算法（Belief Propagation）简介相关推荐

花书+吴恩达深度学习（三）反向传播算法 Back Propagation
目录 0. 前言 1. 从 Logistic Regression 中理解反向传播 2. 两层神经网络中单个样本的反向传播 3. 两层神经网络中多个样本的反向传播如果这篇文章对你有一点小小的帮助,请 ...
前向传播算法(Forward propagation)与反向传播算法(Back propagation)
虽然学深度学习有一段时间了,但是对于一些算法的具体实现还是模糊不清,用了很久也不是很了解.因此特意先对深度学习中的相关基础概念做一下总结.先看看前向传播算法(Forward propagation)与 ...
基于置信传播（BP,Belief Propagation)的立体匹配算法
简介基于置信传播的立体匹配算法是一种经典的全局立体匹配算法,其主要思想是在立体匹配过程中引入置信度的概念,置信度表示相邻节点的不同视差标记的可信度,通过一定迭代次数的消息迭代传播更新后,全局能量函数 ...
PaddlePaddle训练营——公开课——AI核心技术掌握——第1章迈入现代人工智能的大门——深度学习的基础算法——反向传播算法简介
反向传播算法 Back Propagation Algorithms 在一个链接上的权重的变化会使得下一个神经元获得的值就有相应的变化,这个变化量会随着网络的前向传播影响到下一层的每一个神经元,以此类 ...
聚类——标签传播算法以及Python实现
标签传播算法(label propagation)是典型的半监督聚类算法.半监督是指训练数据集中小部分样本点已知标签,大部分样本点未知标签. 核心思想相似性较大的样本点间应该具有相同的标签,将已知标 ...
反向传播算法学习笔记
反向传播算法(Back propagation) 目的及思想我们现在有一堆输入,我们希望能有一个网络,使得通过这个网络的构成的映射关系满足我们的期待.也就是说,我们在解决这个问题之前先假设,这种映射 ...
零基础入门深度学习(3) - 神经网络和反向传播算法
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就o ...
深度学习(4) - 神经网络和反向传播算法
神经元神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数:而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数.如下图所示: 计算一个神经元的输出的方法 ...
置信度传播算法（Belief Propagation）
基础知识条件概率(Conditional Probability) 相互独立时,p(A | B) = p(A) 贝叶斯规则贝叶斯网络(Bayesian Network)定了一个独立的结构:一个节点 ...
Efficient Belief Propagation for Early Vision 论文翻译对于早期视觉问题的高效信念传播
Efficient Belief Propagation for Early Vision 对于早期视觉问题的高效信念传播 (一些数学符号不标准,需要对照原论文阅读) 摘要马尔可夫随机场模型为立体. ...

置信传播算法（Belief Propagation）简介

目录