【机器学习基础】一文读懂用于序列标注的条件随机场(CRF)模型
模型前的铺垫
我们先引入一个假设,假设一个句子的产生只需要两步:
第一步:基于语法产生一个合乎文法的词性序列
第二步:对第一步产生的序列中的每个词性找到符合这个词性的一个词汇,从而产生一个词汇序列,便产生出了一个句子
图1
那么如图1所示,假如我们基于语法产生了一个词性序列("PN V D N"),那基于这样的词性序列到对应的词典集合中选词便可以组合出一个句子。
图2
假如我们产生的句子是"John saw the saw",那么如图2所示,每个词都有一定的概率被选出,基于词性序列("PN V D N")产生这个句子的概率为:
如果把词性序列用y表示,把句子的词汇序列用x表示,那么上述句子的生成可以表示为:
这样我们就可以得到序列x、y同时出现的概率P(x,y):
其中P(y)表示序列y出现的概率:
P(x|y)表示基于序列y生成序列x的概率:
基于上述想法,我们可以得到更一般化的表示:
从而P(y)可以更一般的表示为:
同样P(x|y)可以更一般的表示为:
那么可以得到P(x,y)更一般的表示为:
图3
再来看图3,当序列x是已知的或者说是可观测的,而标记序列y是隐藏的或者说是未知的,那么如何来求得理想标记序列y呢?我们通过采取求解条件概率P(y|x)来求得,即:
其中y是一个可能的标记序列,Y是所有可能的标记序列。上式的意义在于期望求得一个能使条件概率P(y|x)最大的标记序列y。也就是说,如果我知道了P(y|x)如何求,再把每个可能的标记序列y带进去,就能得到想要求得的理想标记序列y。
CRF模型引入
基于上述的铺垫,下面我们开始引入条件随机场模型。
条件随机场(CRF)模型可以用如下式子来描述:
其中:
w表示权重向量
表示特征向量
现在我们重点来关注如何求解条件概率P(y|x)
辅助理解
从标注问题的角度来理解条件概率P(y|x)的含义。x表示给定的待标注序列,y表示给定x下对应的一个标记序列。我们希望通过求解条件概率P(y|x)来得到给定x条件下对应的一个理想标注序列
P(y|x)可以表示为:
我们知道
不妨设
辅助理解
R为比例系数
将上式带入P(y|x)的表达式中可得
辅助理解
Y表示所有可能的标注序列的集合,y'表示所有标注序列的集合中的某个标注序列
观察上式,可以看到分母部分其实只和x有关,所以可以将其简化的表示为Z(x),即:
也就是说,要求P(y|x),关键在于求解P(x,y),由之前的铺垫,我们知道:
我们对上式两边取对数得:
其中
上式是如何来的呢?
图4
如图4所示,可得:
从而
同样,我们也能得到
从而
我们可以将上式向量化表示为:
我们可以令
其中
由于的值可能会大于1,这就不能用来表示概率了,所以
参考资料:
李宏毅《Sequence Labeling Problem》课程
英文原文:https://medium.com/visionwizard/object-tracking-675d7a33e687
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
获取一折本站知识星球优惠券,复制链接直接打开:
https://t.zsxq.com/y7uvZF6
本站qq群704220115。
加入微信群请扫码:
【机器学习基础】一文读懂用于序列标注的条件随机场(CRF)模型相关推荐
- 一文读懂NLP之隐马尔科夫模型(HMM)详解加python实现
一文读懂NLP之隐马尔科夫模型(HMM)详解加python实现 1 隐马尔科夫模型 1.1 HMM解决的问题 1.2 HMM模型的定义 1.2.1HMM的两个假设 1.2.2 HMM模型 1.3 HM ...
- 【机器学习】一文读懂层次聚类(Python代码)
本篇和大家介绍下层次聚类,先通过一个简单的例子介绍它的基本理论,然后再用一个实战案例Python代码实现聚类效果. 首先要说,聚类属于机器学习的无监督学习,而且也分很多种方法,比如大家熟知的有K-me ...
- 推荐文章:机器学习:“一文读懂机器学习,大数据/自然语言处理/算法全有了...
PS:文章主要转载自CSDN大神"黑夜路人"的文章: http://blog.csdn.NET/heiyeshuwu/article/details/43483 ...
- 【重磅综述】长序列数据分析相关资源哪里找?一文读懂长序列测序数据分析的机遇与挑战!...
简介 标题:长序列测序数据分析的机遇与挑战 杂志:GenomeBiology 影响因子:10.806 发表时间:2020年05月08日 ...
- 区域转换为二值图像_零基础一文读懂AI深度学习图像识别
#寻找真知派# #科学思维看百态# #深度学习 图像识别# 人工智能大常识(2):图像识别(以手写字符识别为例) 近期写一组关于人工智能的科普帖子.第一帖介绍了AI自动诊断的方法,本帖之后准备继续推出 ...
- 【机器学习】一文读懂线性回归、岭回归和Lasso回归
来源 | AI小白入门 作者 | 文杰 编辑 | yuquanle 完整代码见:原文链接 1. 线性回归 1.1 线性回归 假设有数据有T={(x(1),y(1)),...,(x(i),y(i)) ...
- 【机器学习】一文读懂异常检测 LOF 算法(Python代码)
本篇介绍一个经典的异常检测算法:局部离群因子(Local Outlier Factor),简称LOF算法. 背景 Local Outlier Factor(LOF)是基于密度的经典算法(Breunin ...
- python 最小二乘回归 高斯核_「机器学习」一文读懂线性回归、岭回归和Lasso回归...
点击上方蓝色字体,关注AI小白入门哟 作者 | 文杰 编辑 | yuquanle 本文介绍线性回归模型,从梯度下降和最小二乘的角度来求解线性回归问题,以概率的方式解释了线性回归为什么采用平方损失,然后 ...
- 【机器学习】一文读懂正则化与LASSO回归,Ridge回归
该文已经收录到专题机器学习进阶之路当中,欢迎大家关注. 1.过拟合 当样本特征很多,样本数相对较少时,模型容易陷入过拟合.为了缓解过拟合问题,有两种方法: 方法一:减少特征数量(人工选择重要特征来保留 ...
最新文章
- 都在喂大规模互联网文本,有人把著名的 C4 语料库“读”透了
- Kotlin中的Java静态方法等效于什么?
- CentOS的阿里YUM源安装
- Android艺术——性能优化问题
- 主页面功能的java_6-04-项目实战-主页面显示当前用户退出功能实现
- ElasticSearch - 聚合 aggs
- oracle 简单job
- OAuth: How and Why?
- Cocos2dx3.0过渡篇 globalZOrder()与localZOrder()
- UPS电源知识(开发板销售http://huarm.taobao.com/ )
- 解决File “D:\ProgramData\Anaconda3\lib\site-packages\keras\engine\saving.py“,相关问题
- 大二期末作业(KTV点歌程序-纯java)
- Android Studio初学者实例:Fragment学习--仿美团外卖界面
- html 设置两个标签的相对距离_HTML 让上下两个DIV之间保持一定距离或没有距离...
- linux 分配git用户名和密码,配置Git记住用户名密码的俩种方法
- android chrome 夜间,【科技知识】(暗黑模式)Android安卓版的Chrome谷歌浏览器这样设置暗黑模式(夜间模式)...
- 五最好的应聘者可以问问题
- 分享一个MongoDB可视化工具rockmongo-on-windows
- Ubuntu 20.04 搜狗输入法安裝
- 第1章Android的系统介绍
热门文章
- iis 重新安装后 重新注册asp.net
- C#根据字节数截取字符串
- Maven虐我千百遍,我待Maven如初恋
- linux的管道 |和grep命令以及一些其他命令(diff,echo,cat,date,time,wc,which,whereis,gzip,zcat,unzip,sort)...
- [分治FFT]「CTSC2018」青蕈领主
- 【bzoj2324】[ZJOI2011]营救皮卡丘 最短路-Floyd+有上下界费用流
- beanshell变量无法传到jmeter_学会BeanShell,才敢说自己懂Jmeter
- 自定义曲线_完美动力小课堂:AnimationCurve(动画曲线编辑) 如何使用?
- 2021-11-18Collections
- Saber2016安装包和安装详细安装步骤