计算所汉语词性标记集
计算所汉语词性标记集
0. 说明
计算所汉语词性标记集(共计99个,22个一类,66个二类,11个三类)主要用于中国科学院计算技术研究所研制的汉语词法分析器、句法分析器和汉英机器翻译系统。本标记集主要参考了以下词性标记集:
1. 北大《人民日报》语料库词性标记集;
2. 北大2002新版词性标记集(草稿);
3. 清华大学汉语树库词性标记集;
4. 教育部语用所词性标记集(国家推荐标准草案2002版);
5. 美国宾州大学中文树库(ChinesePennTreeBank)词性标记集;
由于计算所的汉语词法分析器主要采用北大《人民日报》语料库进行参数训练,因此本
词性标记集主要以北大《人民日报》语料库的词性标记集为蓝本,并参考了北大《汉语语法信息词典》中给出的汉语词的语法信息。
本标记集在制定过程中主要考虑了以下几方面的因素:
1. 有助于提高汉语词法分析器的切分和标注正确率;
2. 有助于提高汉语句法分析器的正确率;
3. 有助于汉英机器翻译系统进行翻译;
4. 易于从北大《人民日报》语料库词性标记集进行转换;
5. 对于语法功能不同的词,在不造成词法分析和句法分析歧义区分困难的情况下,尽可能细分子类。
基于以上考虑,我们在标注过程中尽量避免那些容易出错的词性标记,而采用那些不容易出错、而对提高汉语词法句法分析正确率有明显作用的标记。例如,在动词的子类中,我们参考了宾州大学中文树库的做法,把汉语动词“是”和“有”分别做成单独的标记,而没有采用“系动词”的标记。因为同样是“是”这个动词,其句法功能很多,作“系动词”只是其中一种功能,而要区分这些功能是非常困难的,会导致词法分析的正确率下降。
在名词子类中,我们区分了“汉语人名”、“日语人名”和“翻译人名”,这不仅仅是因为这三种人名要采用不同的参数进行训练与识别,而且在汉英机器翻译中也要采用不同的分析算法进行翻译。又如,我们把表示时间的“数词+‘年’”(如“1995年”)合并成一个时间词,而表示年头的“数词+‘年’”分别标注为“数词”和“量词”,这是因为我们通过实验发现这种区分在词法分析阶段通过统计方法可以达到较高的正确率,而且这种区分对于后续的句法分析和机器翻译有非常重要的作用。
对于某些词类(助词和标点符号),基本上是一个封闭集,而这些词类中各个词的语法功能相差很大,在这种情况下,我们尽可能地细分其子类。
另外,与其他词性标记集类似,在我们的标记体系中,小类只是大类中一些有必要区分的一些特例,但小类的划分不满足完备性。
1. 名词 (1个一类,7个二类,5个三类)
名词分为以下子类:
n 名词
nr 人名
nr1 汉语姓氏
nr2 汉语名字
nrj 日语人名
nrf 音译人名
ns 地名
nsf 音译地名
nt 机构团体名
nz 其它专名
nl 名词性惯用语
ng 名词性语素
2. 时间词(1个一类,1个二类)
t 时间词
tg 时间词性语素
3. 处所词(1个一类)
s 处所词
4. 方位词(1个一类)
f 方位词
5. 动词(1个一类,9个二类)
v 动词
vd 副动词
vn 名动词
vshi 动词“是”
vyou 动词“有”
vf 趋向动词
vx 形式动词
vi 不及物动词(内动词)
vl 动词性惯用语
vg 动词性语素
6. 形容词(1个一类,4个二类)
a 形容词
ad 副形词
an 名形词
ag 形容词性语素
al 形容词性惯用语
7. 区别词(1个一类,2个二类)
b 区别词
bl 区别词性惯用语
8. 状态词(1个一类)
z 状态词
9. 代词(1个一类,4个二类,6个三类)
r 代词
rr 人称代词
rz 指示代词
rzt 时间指示代词
rzs 处所指示代词
rzv 谓词性指示代词
ry 疑问代词
ryt 时间疑问代词
rys 处所疑问代词
ryv 谓词性疑问代词
rg 代词性语素
10. 数词(1个一类,1个二类)
m 数词
mq 数量词
11. 量词(1个一类,2个二类)
q 量词
qv 动量词
qt 时量词
12. 副词(1个一类)
d 副词
13. 介词(1个一类,2个二类)
p 介词
pba 介词“把”
pbei 介词“被”
14. 连词(1个一类,1个二类)
c 连词
cc 并列连词
15. 助词(1个一类,15个二类)
u 助词
uzhe 着
ule 了 喽
uguo 过
ude1 的 底
ude2 地
ude3 得
usuo 所
udeng 等 等等 云云
uyy 一样 一般 似的 般
udh 的话
uls 来讲 来说 而言 说来
uzhi 之
ulian 连 (“连小学生都会”)
16. 叹词(1个一类)
e 叹词
17. 语气词(1个一类)
y 语气词(delete yg)
18. 拟声词(1个一类)
o 拟声词
19. 前缀(1个一类)
h 前缀
20. 后缀(1个一类)
k 后缀
21. 字符串(1个一类,2个二类)
x 字符串
xe Email字符串
xs 微博会话分隔符
xm 表情符合
xu 网址URL
22. 标点符号(1个一类,16个二类)
w 标点符号
wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <
wky 右括号,全角:) 〕 ] } 》 】〗 〉 半角: ) ] { >
wyz 左引号,全角:“ ‘ 『
wyy 右引号,全角:” ’ 』
wj 句号,全角:。
ww 问号,全角:? 半角:?
wt 叹号,全角:! 半角:!
wd 逗号,全角:, 半角:,
wf 分号,全角:; 半角: ;
wn 顿号,全角:、
wm 冒号,全角:: 半角: :
ws 省略号,全角:…… …
wp 破折号,全角:―― -- ――- 半角:--- ----
wb 百分号千分号,全角:% ‰ 半角:%
wh 单位符号,全角:¥ $ £ ° ℃ 半角:$
计算所汉语词性标记集相关推荐
- (自然语言处理文档系列)Penn Treebank词性标记集
Penn Treebank词性标记集 在进行自然语言处理时,常见的任务是对单词进行词性标注,但对于标注的结果我们有时候不是很明白,文章介绍了对于常见的标注结果的中文含义: 编号 缩写 英文 中文 1 ...
- Penn Treebank词性标记集
转载的 编号 缩写 英文 中文 1 CC Coordinating conjunction 并列连接词 2 CD Cardinal number 基数 3 DT Determiner 限定词 4 EX ...
- Penn Treebank词性标记集(符号说明)
编号 缩写 英文 中文 1 CC Coordinating conjunction 并列连接词 2 CD Cardinal number 基数 3 DT Determiner 限定词 4 EX Exi ...
- 英文语料库词性标记表(TreeTagger) 附TreeTagger软件包
词性标记(TreeTagger) VV 动词(基本形式) VVP 动词(现在时态,非第三人称单数) VVZ 动词(现在时态,第三人称单数) VVD 动词(过去时态) VVN 动词(过去分词) VVG ...
- viterbi算法词性标注_使用Viterbi算法深入研究词性标记
viterbi算法词性标注 by Sachin Malhotra 由Sachin Malhotra 使用Viterbi算法深入研究词性标记 (A deep dive into part-of-spee ...
- 词性标记说明(Penn Treebank Tagset 宾州树库)
转自:http://blog.csdn.net/wskings/article/details/17607021 最近在做命名实体识别,用到Stanford-CoreNlp词性标记,由于不是语言学专业 ...
- 【NLP】Penn Treebank Tagset 宾州树库 词性标记说明
转自:http://blog.csdn.net/wskings/article/details/17607021 最近在做命名实体识别,用到Stanford-CoreNlp词性标记,由于不是语言学专业 ...
- (转载)汉语词性对照表[北大标准/中科院标准]
词性编码 词性名称 注 解 Ag 形语素 形容词性语素.形容词代码为 a,语素代码g前面置以A. a 形容词 取英语形容词 adjective的第1个字母. ad 副形词 直接作状语的形容词.形容词代 ...
- 02-NLP-01-jieba中文处理
jieba中文处理 和拉丁语系不同,亚洲语言是不用空格分开每个有意义的词的.而当我们进行自然语言处理的时候,大部分情况下,词汇是我们对句子和文章理解的基础,因此需要一个工具去把完整的文本中分解成粒度更 ...
- 史上最详细最容易理解的HMM文章
分类 隐马尔科夫模型 HMM(隐马尔科夫模型)是自然语言处理中的一个基本模型,用途比较广泛,如汉语分词.词性标注及语音识别等,在NLP中占有很重要的地位.网上关于HMM的介绍讲解文档很多,我自己当时开 ...
最新文章
- 一禁了之还是放开应用?面部识别“人红是非多”
- 【AJAX】DWR使用总结
- mysql mybatis cdata_mybatis中<![CDATA[]]>的用法
- java题霸_牛客题霸每日一题 + NC50 + Java题解
- 内推!美团2021届应届生补招与2022届实习生招聘同步开启
- Linux 命令(79)—— pidof 命令
- With语句是什么?
- 磁盘IO单线程顺序写时最快的,如果多线程写,磁盘的磁头要不断重新寻址,所以写入速度反而会慢...
- Bootstrap模板-Inspinia.2.9.2
- [19保研]厦门大学软件学院暑期夏令营招生简章
- Controller中使用swagger注解的正确姿势
- 扁平化设计的色彩选择
- 手机qq邮箱html,手机QQ邮箱在哪里找
- Android天气预报+百度天气接口
- 股票交易一点感悟和程序化交易实战
- MTK获取iso的几种方式
- 亚马逊,富士康,腾讯等大厂的3亿美元打水漂,Android之父公司宣布关闭
- 植物大战僵尸CE教程
- 【技术】python 爬虫一招解决SSl 报错SSLError
- SAP Other 技巧--通过报错信息找到程序对应的事务代码
热门文章
- 免费试用腾讯云服务器 + nginx建网站
- cisco思科交换机的基本使用
- 微信网页授获取code
- World从任意页开始设置页码详细教程
- python 占用内存过高_PyCharm如何优化?太占内存了,太慢了
- windows 获取当前进程所占内存
- html5 做屏幕保护效果,电脑屏保制作软件如何制作屏保 及如何设置屏幕保护
- liang-barsky_C和C ++中的Liang Barsky线裁剪算法
- python和excel进行数据交换_python-doc/使用Python和Excel进行交互式数据分析.md at master · HSUCHING/python-doc · GitHub...
- Windows2012 系统从MBR转GPT免重装的经验