机器学习 --- 概率图

简述

概念
- 概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。
- 概率图模型在机器学习的诸多场景中都有着广泛的应用。
  - 朴素贝叶斯模型、最大熵模型、主题模型
  - 马尔科夫随机场、条件随机场
  - 隐马尔科夫模型、多元高斯模型
  - Kalman滤波、粒子滤波、变分推理等
- 当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。
历史
- 历史上，曾经有来自不同学科的学者尝试使用图的形式表示高维分布的变量间的依赖关系
- 在人工智能领域，概率方法始于构建专家系统的早期尝试
- 20世纪80年代末，在贝叶斯网络和一般的概率图模型中的推理取得重要进展
  - 1988年，人工智能领域著名学者Pearl提出了信念传播(BP)算法，BP算法把全局的概率推理过程转变为局部变量间的消息传递，从而大大降低了推理的复杂度。
- 2003年，Wainwright等人提出了树重置权重信度传播算法，其主要思想是将一个有换概率图模型分解为若干生成树的加权和，从而将原复杂的推理问题转化为若干树状图模型的推理问题
- 2008年，Globerson 和 Sontag等人提出了基于线性规划松弛和对偶分解的推理算法
应用
- 概率图模型的推断和学习已广泛应用于机器学习、计算机视觉、自然语言处理、医学图像处理、计算神经学、生物信息学等研究领域，成为人工智能相关研究中不可获取的一门技术

概率图分类

有向
- 离散
  - 贝叶斯网络
  - 最大熵马尔科夫（MEMM）
    - 优点
      - 与HMM对比
        
        打破了观察独立假设（通过D分离分析）
        
        判别式模型
    - 缺点
      - 标注偏差问题
        
        原理：局部归一化
    - 优化
      - CRF：去除方向，把有向图变成无向图
- 连续
  - 高斯图
无向
- 马尔科夫随机场
- 条件随机场
- 线性条件随机场
动态模型（本质上是有向图）
- 状态为离散型数据
  - 隐马尔科夫模型
- 状态为连续型数据
  - 线性：Kalman Filter
  - 非线性：Partitle Filter

概率图模型的表示

本质上是建模的过程
问题
- 联合概率分布可以表示为局部势函数的联乘积形式
- 如何在图模型中引入先验知识

概率图模型的推理

问题
- 边缘概率
- 最大后验概率状态
- 求归一化因子
算法
- 精确推理
  - 变量消元法
  - 团树传播算法
  - 信念传播算法
  - 二值图切割
- 近似推理
  - BP算法的能量最小化解释
  - 基于图切法的近似推理算法
  - 确定性近似（变分推断）
  - 随机近似（MCMC）

概率图模型的学习

概述
- 对于复杂的、缺乏专家经验的概率模型，如果我们有一定数量的观测数据，通常希望能够从观测数据中获得模型的参数甚至结构。
- 对于常见的场景，可以直接使用专家经验
算法
- 参数学习：已知图模型结构，学习模型的参数
  - 完备数据
  - 隐变量
- 结构学习：从数据中推断变量之间的依赖关系

机器学习 --- 概率图 - 概述相关推荐

机器学习——概率图模型
机器学习--概率图模型有向图-贝叶斯网络无向图-马尔科夫网络(马尔科夫随机场) 两种图的转换-道德图更精细的分解-因子图推断推断-变量消除(VE) 推断-信念传播(BP) 推断-Max-Pr ...
让AI学习AI：自动化机器学习的概述、发展和研究意义
导读:我们在之前的文章<>中概述了人工智能,并引出了AutoML--自动化机器学习.本文将介绍AutoML的概述.发展和研究意义等概念性知识. 作者:王健宗瞿晓阳来源:大数据(ID:h ...
[机器学习]概率图模型
本文档记录了<机器学习>第 14 章概率图模型相关内容概率图模型模型有向图/无向图判别式/生成式逻辑回归无向图判别式朴素贝叶斯有向图生成式 HMM 有向图生成式马尔 ...
深入理解机器学习——概率图模型（Probabilistic Graphical Model）：条件随机场（Conditional Random Field，CRF）
分类目录:<深入理解机器学习>总目录条件随机场(Conditional Random Field,CRF)是一种判别式无向图模型,在<概率图模型(Probabilistic Gra ...
机器学习 —— 概率图模型（学习：CRF与MRF）
在概率图模型中,有一类很重要的模型称为条件随机场.这种模型广泛的应用于标签-样本(特征)对应问题.与MRF不同,CRF计算的是"条件概率".故其表达式与MRF在分母上是不一样的. ...
机器学习 —— 概率图模型（推理：连续时间模型）
有一种很重要的概率图模型用于SLAM,视觉追踪,识别,传感融合等领域,称为为Template Model. 其特征是每个状态具有多个随机变量,下个状态随机变量的取值受到上个状态的影响.并且随机变量之间 ...
各个大厂的机器学习平台概述
机器学习的核心是"使用算法解析数据,从中学习,然后对世界上的某件事情做出决定或预测".这意味着,与其显式地编写程序来执行某些任务,不如教计算机如何开发一个算法来完成任务.有三种主要 ...
机器学习 —— 概率图模型（Homework: CRF Learning）
概率图模型的作业越往后变得越来越有趣了.当然,难度也是指数级别的上涨啊,以至于我用了两个周末才完成秋名山神秘车牌的寻找,啊不,CRF模型的训练. 条件随机场是一种强大的PGM,其可以对各种特征进行建模 ...
机器学习算法概述：随机森林逻辑回归
摘要: 机器学习算法入门介绍:随机森林与逻辑回归! 随机森林是用于分类和回归的监督式集成学习模型.为了使整体性能更好,集成学习模型聚合了多个机器学习模型.因为每个模型单独使用时性能表现的不是很好,但如 ...
机器学习 —— 概率图模型（推理：采样算法）
基于采样的推理算法利用的思想是概率 = 大样本下频率.故在获得图模型以及CPD的基础上,通过设计采样算法模拟事件发生过程,即可获得一系列事件(联合概率质量函数)的频率,从而达到inference的 ...

机器学习 --- 概率图 - 概述

简述

概率图分类

概率图模型的表示

概率图模型的推理

概率图模型的学习

机器学习 --- 概率图 - 概述相关推荐

最新文章

热门文章