相关基础：概率图模型中的推断https://zhuanlan.zhihu.com/p/252169479
英文原文：https://tspace.library.utoronto.ca/bitstream/1807/89580/1/Yeo_Alexia_201806_MAS_thesis.pdf
相关代码
①https://github.com/kaist-ina/bp_solverPractical Message-passing Framework for Large-scale Combinatorial Optimization
②https://github.com/pawelswoboda/LP_MPSolving LPs with convergent message passing
③用于概率图形模型的Python库PGMPY：Welcome to pgmpy’s documentation!
其他资源安利：
Message Passing and Combinatorial Optimization by Siamak Ravanbakhsh 博士答辩屁屁踢 https://www.siamak.page/assets/pdf/thesis_presentation.pdf

1.什么时候应该用概率图模型、消息传递替代传统组合优化求解器？

分枝定界法在为较小规模COP上是很有效的，但随着搜索树大小增加，通过收紧边界来证明最优性变得十分有挑战性。 相比之下，消息传递产生的次优布局始终在距精确的分支定界解的5%以内，并且可通过实施群集收紧过程更快地提供关于最佳值的更严格的界限。 总之，消息传递算法是计算穷举分支定界方法的一种可伸缩替代方案，特别是当人们对具有某些最优性保证的快速次优解感兴趣时。

虽然概率图模型提供了一种直观且approachable的方式来捕获问题的变量依赖关系，但将消息传递用作一般整数规划求解器仍存在局限性。 主要是因为

1.消息传递比较依赖流行的线性松弛方法从而不能保证紧密性，我们必须利用额外的紧缩方法来得出好的解决方案。

2.此外，对偶解不能保证是最优的，因此也不能保证收敛到精确解。

3.算法还局限于目标和约束可很容易地分解成单个或成对（pair-wise）节点群集上的势函数的问题。

其他观点：

from Message Passing and Combinatorial Optimization by Siamak Ravanbakhsh的博士论文
本论文研究了图形模型中推理的一般形式，比较强调代数抽象。文章将很多推理问题的重要子集组织在一个推理层次下，并研究了分配律允许以消息传递的形式进行特定近似的settings。文章使用1)变分公式和循环校正（loop correction）；2)调查传播（survey propagation）；3)混合技术，研究了在环图中改善逼近的不同方法。最后，文章研究了组合优化问题在直接推理模式下的图形建模。
与其他任何推理和优化框架一样，图形建模也有其优点和缺点。使用图形模型求解组合优化问题的缺点主要有两方面 a)与其他标准技术如使用整数编程求解器相比，实现消息传递程序更为复杂和耗时（这不和上文的违背哈，因为虽然每一步耗时但可能获得较优解所需迭代轮次较少）；b)缺乏标准的准则来设计因子图表示法以使计算复杂度最小化或提高消息传递解的质量。事实上，此文作者用了很多技巧来近似求解问题；例如，通过替代归一化、增强、变量和因子同步消息更新、引入辅助变量、使用阻尼和减法（alternative normalization, augmentation, variable and factor-synchronous message update, introduction of auxiliary variables, using damping and decimation ）等来简化BP消息。
另一方面，图形建模的优点是：当处理大规模和高难度优化问题时，我们不得不求助于conceptual和computational decomposition，而图形建模和消息传递技术是直接的候选方法。消息传递是大规模并行，可扩展的，且往往能得到高质量的解决方案。此论文也是试图通过为一组多样化的组合问题提供因子图，从而建立消息传递的普遍性。当然了，其中有些特定问题比其他问题更适合于图形建模，所以对它们的计算复杂度和结果质量往往更好。表5.1总结了此论文提出或评述的组合问题的消息传递解的一些重要信息。

2.未来工作

（基于将消息传递应用于约束优化问题实验中观察到的结果）

[50] Zhang Z, Shi Q, McAuley J, Wei W, Zhang Y, Yao R, van den Hengel A (2017) Solving constrained combinatorial optimization problems via MAP inference without high-order penalties. AAAI Conference on Artificial Intelligence

·用[50]的方法求解表示目标函数全局约束的约束马尔可夫随机场是一个相对较新的研究。 与张等人的方法相同。 由于[50]依赖于约束条件能够完全分解为单数或对数的节点集，因此需要进行纳入更多一般约束条件的研究。此外，还必须进行寻找最优约束参数γ的研究，使增加约束条件不会降低问题的紧密性。

·由于消息传递的线性规划松弛方法依赖于求解原始问题的松弛，因此有机会开发出比集群紧缩（cluster tightening）更有效的其他收紧方案。 此外，在集群紧缩中，我们需要对最优集群紧缩计划以及一次应该添加的集群的大小和数量进行更多的研究。

·在许多消息更新规则中，由于在每个节点采取最大信念来解码整数解时可能会出现ties，因此可能不会解码最优解。 由于目前的实现方式通常通过随机取值来打破平局，因此必须进行进一步的研究，以创造更好的tie-braking方法。

·由于测量的量通常含有一定的不确定性，因此文献中对组合问题的鲁棒性研究尤为主要。虽然优化界针对离散和连续问题开发了鲁棒优化算法，但在图形模型推断的背景下，这些算法还没有得到广泛研究。将目光锚定马尔科夫随机场背后的底层概率结构，可能是研究鲁棒信息传递算法的下一个有趣工作。

·结合图同态及其在对称中的应用，特别是它与其他方法如随机分块模型和谱技术的关系。