条件随机场CRF - 学习和预测
http://blog.csdn.net/pipisorry/article/details/78397567
CRF的学习
即CRF的参数估计问题。条件随机场模型实际上是定义在时序数据上的对数线性模型（LR模型同样是），其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。
解释和迭代法
1 逐帧softmax和crf区别。
2 loss损失推导：最优路径概率。
3 lstm编码如何与crf结合的。
[简明条件随机场CRF介绍 | 附带纯Keras实现]
[viterbi实现：https://github.com/bojone/crf/blob/master/word_seg.py]
改进的迭代尺度法(IIS)
已知训练数据集，由此可知经验概率分布 
，可以通过极大化训练数据的对数似然函数来求模型参数。
训练数据的对数似然函数为（lz条件熵）
当Pw是条件随机场模型时
IIS通过迭代的方法不断优化对数似然函数改变量的下界，达到极大化对数似然函数的目的。
假设模型的当前参数向量为w=(w1,w2, ..., wK)T，向量的增量为δ=(δ1,δ2, ..., δK)T，更新参数向量为w +δ=(w1+δ1, w2 +δ2, ..., wk +δk)T。在每步迭代过程中，IIS通过一次求解下面的11.36和11.37，得到δ=(δ1,δ2, ..., δK)T。
关于转移特征tk的更新方程为：
关于状态特征sl的更新方程为：
这里T(x, y)是在数据(x, y)中出现所有特征数的综合：
于是算法整理如下。
算法：条件随机场模型学习的改进的迭代尺度法
输入：特征函数t1,t2, ..., tK1，s1, s2, ..., sK2；经验分布
输出：参数估计值 ；模型。
过程：
拟牛顿法
对于条件随机场模型
学习的优化目标函数是
其梯度函数是
算法：条件随机场模型学习的BFGS算法(拟牛顿法)
前向后向算法
像隐马尔可夫模型那样，引进前向-后向向量，递归的计算以上概率及期望值。这样的算法称为前向-后向算法。
前向-后向算法
对每个指标i =0,1,...,n+1，定义前向向量ai(x)：
递推公式为
又可表示为
ai(yi|x)表示在位置i的标记是yi并且到位置i的前部分标记序列的非规范化概率，若yi可取的值有m个，那ai(x)就是m维的列向量。
同样，对每个指标i =0,1,...,n+1，定义后向向量βi(x)：
又可表示为
βi(yi|x)表示在位置i的标记为yi并且从i+1到n的后部分标记序列的非规范化的概率。
由前向-后向定义不难得到：
这里，若ai(x)是m维的列向量，那1就是元素均为1的m维列向量。
概率计算
按照前向-后向向量的定义，很容易计算标记序列在位置i是标记yi的条件概率和在位置i-1与i是标记yi-1和yi的条件概率：
其中，
Z(x)= anT(x)·1
期望值计算
利用前向-后向向量，可以计算特征函数关于联合分布P(X, Y)和条件分布P(Y | X)的数学期望。
特征函数fk关于条件分布P(Y |X)的数学期望是
其中，
Z(x)= anT(x)·1
假设经验分布为
则特征函数fk关于联合分布P(X, Y)的数学期望是
其中，
Z(x)= anT(x)·1
式11.23和式11.35是特征函数数学期望的一般计算公式。对于转移贴纸tk(yi-1, yi, x, i)，k=1,2,...,K1，可以将式中的fk换成tk；对于状态特征，可以将式中的fk换成si，表示sl(yi, x, i)，k = K1 +1，l = 1,2,...,K2。
有了式11.32 ~11.35，对于给定的观测序列x和标记序列y，可以通过一次前向扫描计算ai及Z(x)，通过一次后向扫描计算βi，从而计算所有的概率和特征的期望。
某小皮
CRF的预测算法
条件随机场的预测问题是给定义条件随机场P(Y|X)和输入序列(观测序列)x，求条件概率最大的输出序列(标记序列)y*，即对观测序列进行标注。条件随机场的预测算法是著名的维特比算法。
由
可得：
于是，条件随机场的预测问题成为求非规范化概率最大的最优路径问题。
算法：条件随机场预测的维特比算法
维特比算法建议看看HMM中的算法示例[HMM：隐马尔科夫模型 - 预测和解码 ]，根据非规范化条件概率计算示例1
这样CRF中的维特比算法就是一样的了。
from: http://blog.csdn.net/pipisorry/article/details/78397567
ref: [统计学习方法]
条件随机场CRF - 学习和预测相关推荐
- 条件随机场(CRF) - 4 - 学习方法和预测算法(维特比算法)
声明: 1,本篇为个人对<2012.李航.统计学习方法.pdf>的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址). 2,由于本人在学习初始时有很多数学知识都已忘记,所以为了 ...
- 条件随机场(CRF) - 1 - 简介
声明: 1,本篇为个人对<2012.李航.统计学习方法.pdf>的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址). 2,由于本人在学习初始时有很多数学知识都已忘记,所以为了 ...
- 条件随机场(CRF) - 2 - 定义和形式
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/xueyingxue001/article/details/51498968 声明: 1,本篇为个人对 ...
- 条件随机场 (CRF) 分词序列谈之一(转)
http://langiner.blog.51cto.com/1989264/379166 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.ht ...
- 简明条件随机场CRF介绍 | 附带纯Keras实现
作者丨苏剑林 单位丨广州火焰信息科技有限公司 研究方向丨NLP,神经网络 个人主页丨kexue.fm 笔者去年曾写过文章<果壳中的条件随机场(CRF In A Nutshell)>[1], ...
- 条件随机场(CRF)相关理论知识
文章目录 无向概率图模型 条件随机场 CRF 实例 线性链条件随机场的简化形式 线性链条件随机场的矩阵形式 linear-CRF的三个基本问题 1,概率计算问题 前向后向概率概述 前向后向概率计算 l ...
- 长文详解基于并行计算的条件随机场CRF
六月 北京 | 高性能计算之GPU CUDA培训 6月22-24日三天密集式学习 快速带你入门阅读全文> 正文共3974个字,29张图,预计阅读时间18分钟. 之前写过CRF的详解,只是为了让 ...
- python期望输出隐藏_【归纳综述】马尔可夫、隐马尔可夫 HMM 、条件随机场 CRF 全解析及其python实现...
PR Structured Ⅲ:马尔可夫.隐马尔可夫 HMM .条件随机场 CRF 全解析及其python实现 Content 归纳性长文,不断更新中...欢迎关注收藏 本章承接概率图知识 马尔可夫不 ...
- 全网最通俗的条件随机场CRF
前言 本文是我尽量以通俗易懂的口吻来讲解CRF的一篇博文,标题虽然取得有点自不量力,但也是我付出了十分心血总结出来的,如果你还是没能看懂那说明我能力不够没能讲清楚,烦请不要在我的留言区展现出你的杠精本 ...
- 条件随机场 (CRF)
背景 CRF和HMM是有相似性的,最后都是使用Verterbi算法来进行最优状态转移序列的确定.CRF主要用于序列标注问题. 本质:通过1D卷机学习近邻信息,然后输入到CRF定义好的计算方式中. 一些 ...
最新文章
- matlab安装_走进数模（三）MATLAB安装
- Django模型(三)
- 如何查找SAP Fiori launchpad Designer的准确路径即url地址
- linux docker导入镜像,Docker镜像的导入和导出
- Oracle数据备份和恢复
- MD5,SHA-1,SHA-256摘要加解密
- 【情感识别】基于matlab KNN算法语音情感识别【含Matlab源码 542期】
- python加redis使用教程_python操作Redis入门教程①
- linux 上传下载测速
- Go语言安装与环境配置（基于Windows）
- SSD-tensorflow-2 制作自己的数据集
- 高德w ndows版地图,高德地图API
- python降序排序_python中如何降序排列
- 【JQuery】两种失焦事件的使用
- Android 怎么防止多并发请求？比如说一个页面需要请求多个接口，可以跟后台网络交互能做哪些性能优化
- redis C接口hiredis 简单函数使用介绍
- Pthon.习题二 字符串的基本处理
- 让一切都过去吧，高手挑战2过关方法
- 定位高速DAC近端杂散问题流程
- 怎么将抖音视频中的水印消除