社区发现（五）--BP(信念传播算法)

转自：https://blog.csdn.net/aspirinvagrant/article/details/40862237

基础知识

条件概率（Conditional Probability）

相互独立时，p(A | B) = p(A)

**贝叶斯规则**

贝叶斯网络（Bayesian Network）定了一个独立的结构：一个节点的概率仅依赖于它的父节点。贝叶斯网络适用于稀疏模型，即大部分节点之间不存在任何直接的依赖关系。

联合概率（Joint Probability），表示所有节点共同发生的概率，将所有条件概率相乘：

我们最终的目标是计算准确的边缘概率（Marginal Probability），比如计算Hangover的概率，边缘概率为各种状态下所有其他节点对本节点影响的概率的和。

边缘概率（Marginal Probability）：即某个事件发生的概率，而与其它事件无关。边缘概率是这样计算的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（在两个离散随机变量的条件下，对于其中任一行或任一列求和，得到的概率就是边缘概率）。在本例中，针对不同的Hangover进行求和，得到的就是Hangover的边缘概率：

优化

接下来就是要获得观测变量 x_h 的估计，需要使 p(x_h)的值最大，即：

如果贝叶斯网络比较小，我们可以很简单的做边缘求和运算，但是如果问题规模较大，整个运算复杂度和数据将会以指数级增长。而利用BP算法去计算这样的网络问题，可以使得运算复杂度只和节点数线性相关。在这种意义上，BP算法在大型贝叶斯网络推断问题中扮演着越来越重要的作用。

马尔科夫随机场（Markov Random Field，MRF）

在概率图模型中，每个结点表示一个随机变量，结点之间的边表示这些随机变量之间的概率关系。在概率图模型中，所有随机变量的联合概率分布可以表示成若干随机变量子集的乘积。典型的概率图模型包括贝叶斯网和马尔科夫网。贝叶斯网是有向图模型，用于表示随机变量之间的因果关系，而马尔科夫网是无向图模型，用于表示随机变量的概率分布和概率推理，或者说是随机变量之间的软约束关系。

BP算法的基础就是建立于MRF上，MRF是一种条件概率模型，它可以被认为是马尔科夫链的一种推广，其对于场内所有节点的相关性都能很有效的描述。

假设我们观察到y_i的一些信息，需要利用这些已知信息去推断关于隐含的场景x_i的另外一些信息。每个顶点i都有一个状态值x_i和一个观测值y_i，每个状态值和观测值之间的似然函数为Ф_i(x_i,y_i)，反映了i处的 x_i和 y_i存在统计依赖性，表示节点i的联合相容度，相邻邻居节点之间的势能量为Ψ_ij(x_i,xj)，Ψ_ij(x_i,x_j)也称为相邻节点之间的不连续代价，反映了节点变量 x_i 和 xj 之间的相容性，体现了随机场自身具备的约束条件。

灰色点表示隐含节点x_i，黑色点表示显式节点y_i，实线表示存在似然函数Ф_i，虚线表示存在一对势函数Ψ_ij和Ψ_ji。

联合概率为：

其中，Z 是一个归一化常数。

边缘概率为：

马尔科夫随机场被认为是成对的，正是因为隐含节点和显式节点的成对性，而每一对节点中的隐含节点的似然函数只受其对应的显式节点所影响。成对的MRF相比较与贝叶斯网络来说它是非直接的。同样的，直接计算边缘概率同样也会导致时间上的指数级增长。

置信度传播(Belief Propagation，BP)

置信度传播算法利用结点与结点之间相互传递信息而更新当前整个MRF的标记状态，是基于MRF的一种近似计算。该算法是一种迭代的方法，可以解决概率图模型概率推断问题，而且所有信息的传播可以并行实现。经过多次迭代后，所有结点的信度不再发生变化，就称此时每一个结点的标记即为最优标记，MRF也达到了收敛状态。对于无环环路的MRF，BP算法可以收敛到其最优解。

BP算法的两个关键过程：（1）通过加权乘积计算所有的局部消息；（2）节点之间概率消息在随机场中的传递。

置信度替换为概率：

b_i(x_i)为节点i的联合概率分布，其中m_ji(x_i)代表隐含节点j传递给隐含节点i的消息，表明了隐含节点i对隐含节点j当前状态的影响。Ф_i(x_i,y_i) 表示节点i的局部证据，表示节点i的联合相容度。节点i的置信度b_i(x_i)与 i 的邻域向 i 传递的所有消息的乘积成正比，同时也正比于Ф_i(x_i,y_i) ，1/z_i为归一化常数，可使置信度的和为1，N(i) 为节点i的MRF一阶邻域。

消息传播的信息：

包含所有其他传入节点i的消息乘积，N(j)\i表示节点j的MRF一阶邻域中排除掉目标节点i的邻域。

有了消息更新规则以及置信度计算公式，就可以先任意初始化每个b_i(x_i)，然后迭代的求解m_ij和b_i(x_i)直至收敛，也就是说m_ij不再发生变化。也就是说首先对一些初始节点的消息赋初值，然后多次迭代消息传播和置信度更新直到它们稳定，最后就能从置信度中获取相应的概率。

置信度传播算法中迭代运算步骤可以表示如下:

（1）随机选择相邻的隐含节点x_i,x_j

（2）从x_i向x_j发送消息m_ij

（3）更新节点x_j的置信度

（4）跳至步骤（1），直到算法收敛

在以此为规则的计算中，从无环图的边缘节点开始传播，然后如果一个节点所有相邻节点的消息都已经计算出来，则计算该节点的消息。易得整个无环图仅仅只需计算一遍就可以得到所有隐含节点的边缘概率分布。可以看出，BP 算法相对于一般的算法，时间复杂度上是大幅下降的。

标准最大乘置信度传播算法

举例：

通过整理上述公式，就可以得到节点2的置信度，正好就是节点2的边缘概率：b₂(x₂)= p₂(x₂)。

参考资料：

Understanding Belief Propagation and itsGeneralizations

CRF - Conditional Random Fields

Structured Belief Propagation for NLP

社区发现（五）--BP(信念传播算法)相关推荐

用networkx、igraph实现社区发现——LPA（标签传播算法）
一.LPA简介 LPA全称为Label Propagation Algorithm,是一个基于标签传播的非重叠社区发现算法.通过LPA可以对用户群进行聚类,从而实现用户画像. 推荐系统初期,当标签数远 ...
BP反向传播算法的思考和直观理解 -卷积小白的随机世界
https://www.toutiao.com/a6690831921246634504/ 2019-05-14 18:47:24 本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积 ...
[AI 笔记] BP反向传播算法
[AI 笔记] BP反向传播算法说明 BP算法链式法则计算图简单例子前向传播反向传播聚焦计算节点,深入理解计算节点的代码实现例子各种门的功能多元链式法则向量化BP算法参考资料 ...
通俗理解神经网络BP反向传播算法
转载自通俗理解神经网络BP反向传播算法通俗理解神经网络BP反向传播算法在学习深度学习相关知识,无疑都是从神经网络开始入手,在神经网络对参数的学习算法bp算法,接触了很多次,每一次查找资料学习 ...
使用随机梯度下降SGD的BP反向传播算法的PyTorch代码实现
Index 目录索引写在前面 PyTorch的 .data() PyTorch的 .item() BP with SGD的PyTorch代码实现参考文章写在前面本文将用一个完整的例子,借助Py ...
BP反向传播算法浅谈（Error Back-propagation）
最近在打基础,大致都和向量有关,从比较基础的人工智能常用算法开始,以下是对BP算法研究的一个小节. 本文只是自我思路的整理,其中举了个例子,已经对一些难懂的地方做了解释,有兴趣恰好学到人工智能对这块 ...
手推机器学习公式（一） —— BP 反向传播算法
方便起见,本文仅以三层的神经网络举例. f(⋅)f(\cdot):表示激励函数 xix_i:表示输入层: yjy_j:表示中间的隐层: yj=f(netj)y_j=f(\text{net}_j) ne ...
社区发现不得不了解的库，包含Louvain 算法、Girvan-Newman 算法等多种社区发现算法，还具有可视化功能
熟知社区发现算法,你不能错过这个 Python 库.它涵盖 Louvain 算法.Girvan-Newman 算法等多种社区发现算法,还具有可视化功能. 网络是由一些紧密相连的节点组成的,并且根据不同 ...
【Nosql-neo4j-基于社区发现算法和图分析Neo4j解读《权力的游戏》】
<权利的游戏> 导读导入原始数据到neo4j 人物网络分析人物数量概要统计图(网络)的直径最短路径所有最短路径关键节点节点中心度(Centrality measures) ...

社区发现（五）--BP(信念传播算法)

社区发现（五）--BP(信念传播算法)相关推荐

最新文章

热门文章