《统计学习方法》读书笔记——第十一章条件随机场

2024-05-19 13:26:33

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

目录

写在前面

本章框架

概率无向图模型（马尔科夫随机场）

条件随机场

条件随机场的三个问题

补充知识点

本章框架

概率无向图模型（马尔科夫随机场）

是一个可以由无向图表示的联合概率分布，其中用图的节点(node) 表示随机变量，用边(edge) 表示随机变量之间的概率依赖关系。无向图中随机变量之间存在以下三种关系（三者等价）：

成对马尔可夫性
局部马尔科夫性
全局马尔科夫性

团、最大团

条件随机场

条件随机场是给定输入随机变量X条件下，输出随机变量Y的条件概率分布模型，其形式为参数化的对数线性模型。条件随机场的最大特点是假设输出变量之间的联合概率分布构成概率无向图模型，即马尔可夫随机场。条件随机场（或概率无向图模型）的联合概率分布可以分解为 无向图最大团上的正值函数的乘积 的形式。

条件随机场是判别模型。

线性链条件随机场：定义在观测序列与标记序列上的条件随机场。表达式为：

条件随机场的三个问题

（同第十章隐形马尔可夫模型的三个问题）

概率计算问题

是给定条件随机场 P(Y|X),输入序列x 和输出序列 y ，计算条件概率 P(Yi=yi|x), P(Yi-1=yi-1，Yi=yi|x) 以及相应的数学期望的问题。

主要也是前向——后向算法

学习算法

给定训练数据集估计条件随机场模型参数的问题。

主要包括：极大似然估计，正则化的极大似然估计，具体的优化算法有改进的迭代尺度法 IIS ，梯度下降法以及拟牛顿法。

预测算法

给定条件随机场 P(Y|X) 和输入序列（观测序列）x,求条件概率最大的输出序列（标记序列）y ，这也是其重要应用——标注问题。

主要方法有：维特比算法

补充知识点

《统计学习方法》读书笔记——第十一章条件随机场相关推荐

机器学习理论《统计学习方法》学习笔记：第十一章条件随机场（CRF）
第十一章条件随机场(CRF) 摘要 1 概率无向图模型 1.1 概率无向图模型定义 1.2 概率无向图模型的因子分解 1.3 D-划分 1.4 马尔可夫随机场在图像中的应用 2 条件随机场的定义与形 ...
统计学习方法读书笔记（九）-EM算法及其推广
全部笔记的汇总贴:统计学习方法读书笔记汇总贴 EM算法用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大后验概率估计.EM算法的每次迭代由两步组成:E步,求期望(ex ...
统计学习方法读书笔记（六）-逻辑斯蒂回归与最大熵模型（迭代尺度法（IIS））
全部笔记的汇总贴:统计学习方法读书笔记汇总贴逻辑斯谛回归 (logistic regression )是统计学习中的经典分类方法.最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(m ...
统计学习方法读书笔记（五）
读书笔记仅供个人学习使用本文主要参考书籍为<统计学习方法>(李航)第二版参考 Sunning_001的博客决策树决策树的定义 if-then 的理解条件概率分布的理解决策树学习 ...
[读书笔记]第十一章项目风险管理（中）
第十一章项目风险管理(中) 1.什么是实施定性风险分析通过评估单个项目的风险发生的概率和影响,对风险进行优先级排序.为后续分析和行动提供基础. 2.什么是实施定量风险分析对已识别的单个风险和不确 ...
《Microsoft Sql server 2008 Internals》读书笔记--第十一章DBCC Internals(11)
<Microsoft Sql server 2008 Internals>读书笔记订阅地址: http://www.cnblogs.com/downmoon/category/230397 ...
[swift 进阶]读书笔记-第十一章：互用性 C11P1 实践:封装 CommonMark
第十一章:互用性 Interoperability 前言: swift 的最大优点就是与C 或者 OC 混编的时候稳的一匹本章主要讲了swift和C之间的一些知识点. 11.1 实践:封装 Comm ...
《利用python进行数据分析》读书笔记--第十一章金融和经济数据应用（一）
自2005年开始,python在金融行业中的应用越来越多,这主要得益于越来越成熟的函数库(NumPy和pandas)以及大量经验丰富的程序员.许多机构发现python不仅非常适合成为交互式的分析环境, ...
统计学习方法读书笔记15-逻辑斯蒂回归习题
文章目录 1.课后习题 2.视频课后习题 1.课后习题 import numpy as np import time import matplotlib.pyplot as plt from mpl_ ...

最新文章

热门文章