文章目录

0. 前言
1. 有向模型
2. 无向模型
3. 因子图
4. 分离和d-分离
5. 从图模型中采样

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫网络）
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）

0. 前言

结构化概率模型使用图来描述随机变量之间的直接相互作用，从而描述概率分布。

每一个节点代表一个随机变量，每一条边代表一个直接相互作用。

结构化概率模型的优点是，它们能够显著降低表示概率分布、学习和推断的成本。

有向模型和无向模型的区别是：有向模型通过从起始点的概率分布直接定义，无向模型通过ϕ\phiϕ函数转换为概率分布而定义。

1. 有向模型

有向图模型（directed graphical model）又被称为信念网络（belief network）或贝叶斯网络（Bayesian network）。

所有边都是有方向的，箭头所指的方向表示随机变量的概率分布是由其他随机变量决定的。

概率分布表示为：
p(x)=∏ip(xi∣Pag(xi))p(x)=\prod_{i}p(x_i\mid Pag(x_i)) p(x)=i∏p(xi∣Pag(xi))
其中，Pag(xi)Pag(x_i)Pag(xi)表示xix_ixi的所有父节点。

例如下图所示（图源：深度学习）：

t1t_1t1依赖于t0t_0t0，t2t_2t2直接依赖于t1t_1t1，间接依赖于t0t_0t0，p(t0,t1,t2)=p(t0)p(t1∣t0)p(t2∣t1)p(t_0,t_1,t_2)=p(t_0)p(t_1\mid t_0)p(t_2\mid t_1)p(t0,t1,t2)=p(t0)p(t1∣t0)p(t2∣t1)。

只要图中的每个变量都只有少量的父节点，那么分布就可以用较少的参数表示。

2. 无向模型

无向模型（undirected model）又被称为马尔可夫随机场（Markov random field）或马尔可夫网络（Markov network）。

无向模型适用于当变量间相互作用并没有本质性的指向，或者明确的双向作用时。

无向图中每一个团（节点的子集）CCC都有一个因子（团势能）ϕ(C)\phi(C)ϕ(C)，未归一化概率分布：
p~(x)=∏C∈gϕ(C)\tilde{p}(x)=\prod_{C\in g}\phi(C) p~(x)=C∈g∏ϕ(C)
归一化概率分布：
p(x)=1Zp~(x)Z=∫p~(x)dxp(x)=\frac{1}{Z}\tilde{p}(x)\\ Z=\int \tilde{p}(x)dx p(x)=Z1p~(x)Z=∫p~(x)dx
当函数ϕ\phiϕ固定时，可以把ZZZ当成一个常数，归一化常数ZZZ被称为配分函数。

无向模型中许多理论都依赖于∀x,p~(x)>0\forall x,\ \tilde{p}(x)>0∀x, p~(x)>0。

满足条件的简单方式是基于能量的模型 EBM（Energy-based model）：
p~(x)=exp⁡(−E(x))\tilde{p}(x)=\exp(-E(x)) p~(x)=exp(−E(x))
其中，E(x)E(x)E(x)被称作是能量函数。

基于能量的模型中的概率可以无限趋近于0但是永远达不到0.

许多对概率模型的操作不计算pmodel(x)p_{model}(x)pmodel(x)，而是log⁡p~model(x)\log \tilde{p}_{model}(x)logp~model(x)，该量的负数称为自由能：
F(x)=−log⁡∑hexp⁡(−E(x,h))F(x)=-\log\sum_{h}\exp(-E(x,h)) F(x)=−logh∑exp(−E(x,h))

3. 因子图

因子图（factor graph）是从无向模型中抽样的另一种方法，可以解决无向模型语法中的模糊性。

通过显式的表示每一个ϕ\phiϕ函数的作用域，如下图所示（图源：深度学习）：

4. 分离和d-分离

图中隐含的条件独立性称为分离（separation）。

分离的情况：

图显式的给定变量集SSS的情况下，变量集AAA和变量集BBB无关
变量aaa和bbb之间没有路径
变量aaa和bbb之间的所有路径都包含可观测的变量

不分离的情况：

变量aaa和bbb之间的路径仅涉及未观测变量

在有向模型中，这些概念被称为d-分离。

d-分离的情况如下图所示（图源：深度学习）：

分离和d-分离只能告诉我们图中隐含的条件独立性。

5. 从图模型中采样

原始采样的基本思想是将图中的变量xix_ixi使用拓扑排序。

原始采样通常非常快，并且非常简便。

缺点是其仅适用于有向模型，并且不是每次采样都是条件采样操作。

从无向模型中采样时一个成本很高的多次迭代的过程，理论上最简单的方法是Gibbs采样。

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）相关推荐

花书+吴恩达深度学习（二九）生成随机网络 GSN
文章目录 0. 前言 1. 生成随机网络 GSN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习(二七)深度生成模型之玻尔兹曼机及其变体(RBM, DB ...
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
文章目录 0. 前言 1. sigmoid 信念网络 2. 生成器网络 3. 变分自编码器 VAE 4. 生成式对抗网络 GAN 5. 生成矩匹配网络 6. 自回归网络 6.1 线性自回归网络 6.2 ...
花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）
文章目录 0. 前言 1. 将推断视为优化问题 1.1 期望最大化 EM 1.2 最大后验推断 MAP 1.3 稀疏编码 2. 变分推断 2.1 离散型潜变量 2.2 连续性潜变量如果这篇文章对你有 ...
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
文章目录 0. 前言 1. 对数似然梯度 1.1 朴素 MCMC 算法 1.2 对比散度算法 CD 1.3 随机最大似然 SML 2. 伪似然 3. 得分匹配 SM 4. 比率匹配 RM 5. 去噪得 ...
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
文章目录 0. 前言 1. 重要采样 2. 马尔可夫链蒙特卡罗 MCMC 3. 不同峰值之间的混合挑战如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习( ...
花书+吴恩达深度学习（二二）自编码器（欠完备，DAE，CAE，PSD）
文章目录 0. 前言 1. 欠完备自编码器 2. 去噪自编码器 DAE 3. 收缩自编码器 CAE 4. 稀疏自编码器 5. 预测稀疏分解 PSD 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞 ...
花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）
目录 0. 前言 1. 学习率衰减 2. 调参策略 3. 贪心监督预训练 4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十 ...
花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）
目录 0. 前言 1. 调试模型顺序 2. 偏差方差的解决方法 3. 数据集的选取划分 4. 数据不匹配问题 5. 评估指标的选取 6. 贝叶斯最佳误差如果这篇文章对你有一点小小的帮助,请给个关注, ...
花书+吴恩达深度学习（十八）迁移学习和多任务学习
目录 0. 前言 1. 迁移学习 2. 多任务学习如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十八)迁移学习和多任务学习花书+吴恩达深度学习(十 ...

花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）