条件随机场 (CRF) 分词序列谈之一(转)

http://langiner.blog.51cto.com/1989264/379166

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://langiner.blog.51cto.com/1989264/379166

条件随机场 (CRF) 分词序列谈之一
Langiner

判别式机器学习技术来解决分词问题，其中判别式机器学习技术主要代表有条件随机场，最大熵/隐马尔科夫最大熵、感知机，支撑向量机等，有关它们的相同点与不同点以后有机会在谈，今天主要谈利用随机场解决分词问题

条件随机场(Conditional Random Fields)由John Lafferty提出并应用于自然语言处理领域，主要用于序列标注问题，如分词、实体识别、词性标注（当然词性数目相对比较小的情况下）、浅层句法分析等问题。

判别式机器学习技术解决分词问题基于由字构词理念，将分词问题转化为分类问题，通过定义每个字的词位信息（每个字在词中的位置）来确定字类别的序列预测，而词位信息可以定义为下面其中任何一种
两类（词首和词中）、三类（词首、词中和词尾）、四类（词首、词中、词尾，单字词）等等，一般而言，类别越多，字的区别能力越强，分类越精确，但是分类空间越大，模型也越大，解码空间越大，导致解码速度也越慢，实际系统中，三类别（词首、词尾和词中）是一个很好的平衡。

互联网上开源的随机场项目很多，最典型和使用最多的是CRF++，里面有完整的源代码和应用实例，通过该软件，我们可以方便学习和使用。CRF++开源代码最大问题是只有Linux版，考虑到Linux环境下，跟踪调试不方便，如果在Windows下通过建立Visual C++或者Visual Studio工程，通过跟踪调试，更加有效地学习该算法，本人将自己的学习实践中，将Linux版本移植到Windows平台上，并将其开源在SourceForge平台上（CRF中文分词开源版）。

利用哪些特征业绩如何利用这些特征是机器学习算法性能关键，中文分词主要使用字的上下文知识，上下文范围可以是3字、5字和7字，同时考虑到由字构词处理长词比较弱，可以考虑引入仿词模式、成语/习语等特征，有研究表示，加入核心词典会提高词典词的分类效果，这需要权衡，如果训练语料覆盖核心词典比较全面，核心词典的构词知识往往在语料中已经包含，但是如果训练语料对于核心词覆盖不够，可以考虑加入核心词的构词知识，但是这对核心词典有比较高的要求，我们认为北大计算语言研究所发布的GKB词典可以作为核心词典使用，如果没有比较好的核心词典，这个核心词的构词知识还是不要加入为好。

本文出自 “专注自然语言技术” 博客，请务必保留此出处http://langiner.blog.51cto.com/1989264/379166

转载于:https://www.cnblogs.com/DjangoBlog/p/4201172.html

条件随机场 (CRF) 分词序列谈之一(转)相关推荐

【机器学习基础】一文读懂用于序列标注的条件随机场(CRF)模型
模型前的铺垫我们先引入一个假设,假设一个句子的产生只需要两步: 第一步:基于语法产生一个合乎文法的词性序列第二步:对第一步产生的序列中的每个词性找到符合这个词性的一个词汇,从而产生一个词汇序列,便 ...
简明条件随机场CRF介绍 | 附带纯Keras实现
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP,神经网络个人主页丨kexue.fm 笔者去年曾写过文章<果壳中的条件随机场(CRF In A Nutshell)>[1], ...
长文详解基于并行计算的条件随机场CRF
六月北京 | 高性能计算之GPU CUDA培训 6月22-24日三天密集式学习快速带你入门阅读全文> 正文共3974个字,29张图,预计阅读时间18分钟. 之前写过CRF的详解,只是为了让 ...
条件随机场CRF的理解
1.个人理解和总结对比HMM的状态转移概率矩阵和发射概率矩阵CRF有自己的定义在边上的特征函数(相当于转移概率)和定义在节点上的特征函数(相当月发射概率) 序列标注HMM可以根据转移概率矩阵和发射概 ...
条件随机场(CRF) - 1 - 简介
声明: 1,本篇为个人对<2012.李航.统计学习方法.pdf>的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址). 2,由于本人在学习初始时有很多数学知识都已忘记,所以为了 ...
条件随机场(CRF) - 2 - 定义和形式
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/xueyingxue001/article/details/51498968 声明: 1,本篇为个人对 ...
条件随机场(CRF)相对于HMM,MEMM的优势
条件随机场(CRF)相对于HMM,MEMM的优势首先,CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注的建模,像词性标注,True casing.但隐马模型一个最大的缺点就是 ...
条件随机场(CRF)相关理论知识
文章目录无向概率图模型条件随机场 CRF 实例线性链条件随机场的简化形式线性链条件随机场的矩阵形式 linear-CRF的三个基本问题 1,概率计算问题前向后向概率概述前向后向概率计算 l ...
python期望输出隐藏_【归纳综述】马尔可夫、隐马尔可夫 HMM 、条件随机场 CRF 全解析及其python实现...
PR Structured Ⅲ:马尔可夫.隐马尔可夫 HMM .条件随机场 CRF 全解析及其python实现 Content 归纳性长文,不断更新中...欢迎关注收藏本章承接概率图知识马尔可夫不 ...

条件随机场 (CRF) 分词序列谈之一(转)

条件随机场 (CRF) 分词序列谈之一(转)相关推荐

最新文章

热门文章