隐马尔可夫(HMM)/感知机/条件随机场(CRF)----词性标注
笔记转载于GitHub项目:https://github.com/NLP-LOVE/Introduction-NLP
7. 词性标注
7.1 词性标注概述
什么是词性
在语言学上,词性(Par-Of-Speech, Pos )指的是单词的语法分类,也称为词类。同一个类别的词语具有相似的语法性质,所有词性的集合称为词性标注集。不同的语料库采用了不同的词性标注集,一般都含有形容词、动词、名词等常见词性。下图就是HanLP输出的一个含有词性的结构化句子。
我/r 的/u 希望/n 是/v 希望/v 张晚霞/nr 的/u 背影/n 被/p 晚霞/n 映/v 红/a
每个单词的后边跟的就是词性标签:
词性标签 词性 r 代词 u 动词 n 名词 v 动词 nr 人名 p 介词 a 形容词 词性的用处
词性的作用是提供词语的抽象表示,词的数量是无穷的,但词性的数量是有限的。词性支撑着许多高级应用,当下游应用遇到 OOV 时,可以通过 OOV 的词性猜测用法,比如上面的句子“林晚霞”就识别为人名进行处理,而不会拆开。
词性也可以直接用于抽取一些信息,比如抽取所有描述特定商品的形容词等。
词性标注
词性标注指的是为句子中每个单词预测一个词性标签的任务。它有以下两个难点:
汉语中一个单词多个词性的现象很常见,但在具体语境下一定是唯一词性。
OOV 是任何自然语言处理任务的难题。
词性标注模型
统计方法为这两个难点提供了解决方案,那就是我们熟悉的序列标注模型。只需将中文分词中的汉字替换为词语,{B,M,E,S} 替换为“名词、动词、形容词等”,序列标注模型马上就可以用来做词性标注。
词性标注既可以看作中文分词的后续任务,也可以与中文分词集成为同一个任务。其中就可以把分词语料库加上词性标签就可以了,这样同时进行多个任务的模型称为联合模型。由于综合考虑了多种监督信号,联合模型在几乎所有问题上都要优于独立模型。
然而工业界就没有那么理想,同时具有分词和词性标注的语料库非常少,需要大量的人力进行标注。
7.2 词性标注语料库与标注集
同中文分词一样,语言学界在标注规范上存在分歧,导致目前还没有一个被广泛接受的汉语词性划分标准。无论是词性划分的颗粒度,还是词性标签都不统一。一方面,各研究机构各持己见、派系林立,标注了大量互不兼容的语料库。另一方面,部分语料库受到严格版权控制,成为内部材料,得不到充分共享利用。
本节选取其中一些授权宽松, 容易获得的语料库作为案例。
以下示例我们选取 PKU 标注的《人民日报》语料库的标注集。
7.3 基于隐马尔可夫模型的词性标注
之前我们就介绍过隐马尔可夫模型,详细见: 4.隐马尔可夫模型与序列标注
隐马尔可夫模型词性标注代码见(程序会自动下载 PKU 语料库): hmm_pos.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch07/hmm_pos.py
运行代码后结果如下:
一阶隐马尔可夫模型:
r, u, n, v, v, v
他/r 的/u 希望/n 是/v 希望/v 上学/v
他/代词 的/助词 希望/名词 是/动词 希望/动词 上学/动词
李狗蛋/动词 的/动词 希望/动词 是/动词 希望/动词 上学/动词二阶隐马尔可夫模型:
r, u, n, v, v, v
他/r 的/u 希望/n 是/v 希望/v 上学/v
他/代词 的/助词 希望/名词 是/动词 希望/动词 上学/动词
李狗蛋/动词 的/动词 希望/动词 是/动词 希望/动词 上学/动词
可见隐马尔可夫模型成功的辨别出“希望”的两种词性 n 和 v。但 OOV问题就出现了,无法把“李狗蛋”识别成人名,隐马尔可夫模型一步走错满盘皆输,其根本原因在于隐马尔可夫模型只能利用单词这一个状态特征,无法通过姓氏“李”来推测“李狗蛋”是人名。
7.4 基于感知机的词性标注
之前我们就介绍过感知机模型,详细见: 5.感知机分类与序列标注
按照中文分词时的经验,感知机能够利用丰富的上下文特征,是优于隐马尔可夫模型的选择,对于词性标注也是如此。
感知机模型词性标注代码见(程序会自动下载 PKU 语料库): perceptron_pos.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch07/perceptron_pos.py
运行会有些慢,结果如下:
李狗蛋/nr 的/u 希望/n 是/v 希望/v 上学/v
李狗蛋/人名 的/助词 希望/名词 是/动词 希望/动词 上学/动词
这次的运行结果完全正确,感知机成功的识别出 OOV “李狗蛋”的词性。
7.5 基于条件随机场的词性标注
之前我们就介绍过条件随机场模型,详细见: 6.条件随机场与序列标注
条件随机场模型词性标注代码见(程序会自动下载 PKU 语料库): crf_pos.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch07/crf_pos.py
运行时间会比较长,结果如下:
李狗蛋/nr 的/u 希望/n 是/v 希望/v 上学/v
李狗蛋/人名 的/助词 希望/名词 是/动词 希望/动词 上学/动词
依然可以成功识别 OOV “李狗蛋”的词性。
7.6 词性标注评测
将 PKU 语料库按 9:1 分隔为训练集和测试集,分别用以上三种模型来训练,准确率如下:
算法 | 准确率 |
---|---|
一阶隐马尔可夫模型 | 44.99% |
二阶隐马尔可夫模型 | 40.53% |
结构化感知机 | 83.07% |
条件随机场 | 82.12% |
从上图可知,结构化感知机和条件随机场都要优于隐马尔可夫模型,判别式模型能够利用更多的特征来进行训练,从而提高更多的精度。
7.7 自定义词性
在工程上,许多用户希望将特定的一些词语打上自定义的标签,称为自定义词性。比如,电商领域的用户希望将一些手机品牌打上相应标签,以便后续分析。HanLP 提供了自定义词性功能。具体有两种实现。
朴素实现
可以使用HanLP挂载的方式实现:
from pyhanlp import *CustomDictionary.insert("苹果", "手机品牌 1") CustomDictionary.insert("iPhone X", "手机型号 1") analyzer = PerceptronLexicalAnalyzer() analyzer.enableCustomDictionaryForcing(True) print(analyzer.analyze("你们苹果iPhone X保修吗?")) print(analyzer.analyze("多吃苹果有益健康"))
当然,此处以代码的方式插入自定义词语,在实际项目中也可以用词典文件的方式,运行效果如下:
你们/r 苹果/手机品牌 iPhone X/手机型号 保修/v 吗/y ?/w 多/ad 吃/v 苹果/手机品牌 有益健康/i
从结果来看,词典只是机械的匹配,将“吃苹果”也当成了手机品牌,犯了所有规则系统的通病,看来词典同样解决不了词性标注,词性标注还是应当交给统计方法。
标注语料
词性的确定需要根据上下文语境,这恰好是统计模型所擅长的。为了实现自定义词性,最佳实践是标注一份语料库,然后训练一个统计模型。
至于语料库规模,与所有机器学习问题一样,数据越多,模型越准。
7.8 GitHub
HanLP何晗--《自然语言处理入门》笔记:
https://github.com/NLP-LOVE/Introduction-NLP
项目持续更新中......
目录
章节 |
---|
第 1 章:新手上路 |
第 2 章:词典分词 |
第 3 章:二元语法与中文分词 |
第 4 章:隐马尔可夫模型与序列标注 |
第 5 章:感知机分类与序列标注 |
第 6 章:条件随机场与序列标注 |
第 7 章:词性标注 |
第 8 章:命名实体识别 |
第 9 章:信息抽取 |
第 10 章:文本聚类 |
第 11 章:文本分类 |
第 12 章:依存句法分析 |
第 13 章:深度学习与自然语言处理 |
隐马尔可夫(HMM)/感知机/条件随机场(CRF)----词性标注相关推荐
- python期望输出隐藏_【归纳综述】马尔可夫、隐马尔可夫 HMM 、条件随机场 CRF 全解析及其python实现...
PR Structured Ⅲ:马尔可夫.隐马尔可夫 HMM .条件随机场 CRF 全解析及其python实现 Content 归纳性长文,不断更新中...欢迎关注收藏 本章承接概率图知识 马尔可夫不 ...
- 李宏毅机器学习2016 第二十一讲 隐马尔可夫模型和条件随机场
视频链接:李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩 课程资源:Hung-yi Lee 课程相关PPT已经打包命名好了:链接:https://pan.baidu.com ...
- 一次性弄懂马尔可夫模型、隐马尔可夫模型、马尔可夫网络和条件随机场!(词性标注代码实现)
文章目录 1. 马尔可夫网络.马尔可夫模型.马尔可夫过程.贝叶斯网络的区别 2. 马尔可夫模型 2.1 马尔可夫过程 3. 隐马尔可夫模型(HMM) 3.1 隐马尔可夫三大问题 3.1.1 第一个问题 ...
- NLP --- 隐马尔可夫HMM(概念详解、三个基本问题详解)
本节将进入隐马尔可夫环节,再次提醒不懂马尔科夫过程的同学建议先搞懂什么是马尔科夫过程,什么是马尔科夫链,同时需要懂一点语言模型的知识,下面会用到一点点,本人打算详细总结隐马尔可夫算法思想,因此讲解的会 ...
- NLP复习资料(3)-六~七章:马尔科夫模型与条件随机场、词法分析与词性标注
NLP复习资料 1.第六章 马尔科夫模型与条件随机场 2.第七章 词法分析与词性标注 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 1.第六章 马尔科夫模型与条件随机场 ...
- 隐马尔可夫(HMM)
一.概述 计算机科学中所谈的"模式"通常指按照一定顺序发生的事件序列,比如机器翻译和自然语言处理中的文字(词)序列,程序设计中的指令序列,模式则体现了序列中事件的相关性. 举一个简 ...
- 隐马尔可夫模型,最大熵马尔可夫模型和条件随机场的区别与联系
隐马尔可夫模型(Hidden Markov Model,HMM),最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)以及条件随机场(Conditional ...
- NLP --- 隐马尔可夫HMM(第三个问题详解及HMM的应用)
前两节我们详细介绍了什么是极大似然估计和EM算法,简单来说就是数据如果是完整的则可以通过均值来估计参数,因为在数据完整的情况下即有发射符号概率也有状态转移概率,通过估计就可以很容易求出隐马尔可夫模型的 ...
- NLP --- 隐马尔可夫HMM(第一个、第二个问题解决方案)
上一节我们详细的阐述了隐马尔可夫的三个基本问题,结合者背景知识理解这三个问题还是很容易的,因为隐马尔可夫的提出就是建立在语音识别的基础上提出来的,因此根据背景知识学习更容易吸收和深入理解,简单的来说就 ...
最新文章
- C++中#include<fstream>头文件
- chart 模板 - 每天5分钟玩转 Docker 容器技术(165)
- Lucene 学习笔记(一)
- 监控mysql主从复制监控_shell脚本监控mysql主从同步状态
- vue vue的table表格自适应_响应式表格,HTML表格自适应(responsive table)
- Django+Jquery+Ajax+验证码登录案例
- python中大括号是什么_Python中模块(Module)和包(Package)到底是什么,有什么区别?...
- SilverLight中的数据绑定
- 九、Oracle学习笔记:聚合函数
- Ring Buffer 实现原理
- 网络安全实验室-解密关1
- 微信小程序中引入iconfont阿里矢量图库
- 怎么在Windows系统中制作Mac系统U盘启动盘?
- ceph 源代码分析 — peering 过程
- Project Tungsten:将Apache Spark更接近裸机
- 【人生如逆旅,我亦是行人】-半年总结
- 智慧园区数据可视化大屏的优势分析
- vue和java图片上传
- HLS(一)Vivado高层次综合概述
- 电子印章结构以及规范讲解