基本概念

什么是词性

在语言学上，词性(Par-Of-Speech, Pos )指的是单词的语法分类，也称为词类。同一个类别的词语具有相似的语法性质，所有词性的集合称为词性标注集。不同的语料库采用了不同的词性标注集，一般都含有形容词、动词、名词等常见词性。下图就是HanLP输出的一个含有词性的结构化句子。

我/r 的/u 希望/n 是/v 希望/v 张晚霞/nr 的/u 背影/n 被/p 晚霞/n 映/v 红/a

两个难点

词性标注指的是为句子中每个单词预测一个词性标签的任务。它有以下两个难点:

汉语中一个单词多个词性的现象很常见，但在具体语境下一定是唯一词性。
OOV 是任何自然语言处理任务的难题。

词性标注_CodingPark编程公园相关推荐

数据分析调研报告_CodingPark编程公园
文章结构速览关系梳理数据挖掘:从海量数据中找到隐藏的规则,数据分析:待分析的目标比较明确数据分析更侧重业务,一般分析的目标比较明确,重点在观察数据,得出结论: 数据挖掘更侧重技术,利用统计学/机 ...
命名实体识别_CodingPark编程公园
基本概念概述命名实体文本中有一些描述实体的词汇.比如人名.地名.组织机构名.股票基金.医学术语等,称为命名实体.具有以下共性: 数量无穷.比如宇宙中的恒星命名.新生儿的命名不断出现新组合. 构词 ...
自然语言处理课程总结_CodingPark编程公园
文章介绍自然语言处理课程主要讲解词法->句法->语义->语用四个方面本文只介绍笔者学习过程中觉得重要的部分第一章绪论大体了解自然语言处理是什么第二章数学知识概率 ...
人工智能中神经网络与自然语言处理共生关系_CodingPark编程公园
文章目录神经网络知识大串联 1:第一代的神经元模型 3 2:从M-P模型到感知器模型 3 3:前馈神经网络 3 4:后向传播与BP算法神经网络 4 5:深度神经网络DNN 4 6:卷积神经网络CNN ...
Gensim库生成与导入W2V模型_CodingPark编程公园
Gensim库生成与导入W2V模型语料目录 gensim函数库Word2Vec配置参数 gensim.models.word2vec.Word2Vec(sentences=None,size=100 ...
Linux压缩｜解压_CodingPark编程公园
文章介绍本文主要介绍: Linux的基础参数 Linux压缩 Linux解压缩基础参数 tar - 5大参数 -c:压缩 -x:解压 -t:查看内容 -r:向压缩归档文件末尾追加文件 -u:更新原 ...
anaconda-navigaotr出现adding featured channels并无法正常打开_CodingPark编程公园
问题 navigator无法打开.停在adding featured channels状态下. 解决在mac终端下更新navigator 输入 conda install navigator 即可解 ...
谈谈池化吧！_CodingPark编程公园
引子下采样和池化应该是包含关系,池化属于下采样,而下采样不局限于池化,如果卷积 stride=2,此时也可以把这种卷积叫做下采样. 池化通常池化层紧跟在 CNN 的卷积层之后. 池化方法: max ...
GPU概述_CodingPark编程公园
GPU和CPU的区别设计目标 CPU:处理各种不同的数据类型,同时又要逻辑判断又会引入大量的分支跳转和中断的处理 GPU:处理类型高度统一的.相互无依赖的大规模数据,不需要被打断的纯净的计算环境 G ...

词性标注_CodingPark编程公园

基本概念

词性标注_CodingPark编程公园相关推荐

最新文章

热门文章