pyltp的使用教程
1 LTP 简介
LTP提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。从应用角度来看,LTP为用户提供了下列组件:
针对单一自然语言处理任务,生成统计机器学习模型的工具
针对单一自然语言处理任务,调用模型进行分析的编程接口
使用流水线方式将各个分析工具结合起来,形成一套统一的中文自然语言处理系统
系统可调用的,用于中文语言处理的模型文件
针对单一自然语言处理任务,基于云端的编程接口
官网在这:http://ltp.ai/
2 pyltp 简介
pyltp 是 LTP 的 Python 封装,提供了分词,词性标注,命名实体识别,依存句法分析,语义角色标注的功能。
github网址:https://github.com/HIT-SCIR/pyltp
在线文档:https://pyltp.readthedocs.io/zh_CN/latest/api.html
3 pyltp 安装步骤
第一步,安装 pyltp
使用 pip 安装
$ pip install pyltp
或从源代码安装
$ git clone https://github.com/HIT-SCIR/pyltp$ git submodule init$ git submodule update$ python setup.py install # Mac系统出现版本问题使用 MACOSX_DEPLOYMENT_TARGET=10.7 python setup.py install
第二步,下载模型文件
七牛云,当前模型版本 3.4.0,(下面代码里会介绍如何使用模型)
百度云,这里有各个版本的
我最开始在自己电脑(windows)上安装不上,主要有以下错误:
- vc++ 14 找不到:到这里下载 Visual C++ 2015 Build Tools 安装重启电脑即可
- 安装的过程提示 winerror32:文件找不到:
安装wheel 下面两个文件针对不同的python版本下载一个即可
pyltp-0.2.1-cp35-cp35m-win_amd64.whl
pyltp-0.2.1-cp36-cp36m-win_amd64.whl
https://download.csdn.net/download/qq_22521211/10460778 可下载
4 基本组件使用
4.1 分句
from pyltp import SentenceSplitter
sents = SentenceSplitter.split('元芳你怎么看?我就趴窗口上看呗!') # 分句
print('\n'.join(sents))
输出:
元芳你怎么看?
我就趴窗口上看呗!
4.2 分词
import os
from pyltp import Segmentor
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'
cws_model_path=os.path.join(LTP_DATA_DIR,'cws.model')
segmentor=Segmentor()
segmentor.load(cws_model_path)
words=segmentor.segment('熊高雄你吃饭了吗')
print(type(words))
print('\t'.join(words))
segmentor.release()
输出
熊高雄 你 吃饭 了 吗
4.3 使用自定义词典
lexicon文件如下:
import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0' # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分词模型路径,模型名称为`cws.model`from pyltp import Segmentor
segmentor = Segmentor() # 初始化实例
segmentor.load_with_lexicon(cws_model_path, 'lexicon') # 加载模型,第二个参数是您的外部词典文件路径
words = segmentor.segment('亚硝酸盐是一种化学物质')
print('\t'.join(words))
segmentor.release()
输出
[INFO] 2018-08-16 19:18:03 loaded 2 lexicon entries
亚硝酸盐 是 一 种 化学 物质
4.4 词性标注
import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'
# ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model') # 词性标注模型路径,模型名称为`pos.model`from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load(pos_model_path) # 加载模型words = ['元芳', '你', '怎么', '看'] # 分词结果
postags = postagger.postag(words) # 词性标注print('\t'.join(postags))
postagger.release() # 释放模型
输出如下
nh r r v
4.5 命名实体识别
import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0' # ltp模型目录的路径
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model') # 命名实体识别模型路径,模型名称为`pos.model`from pyltp import NamedEntityRecognizer
recognizer = NamedEntityRecognizer() # 初始化实例
recognizer.load(ner_model_path) # 加载模型words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
netags = recognizer.recognize(words, postags) # 命名实体识别print('\t'.join(netags))
recognizer.release() # 释放模型
输出
S-Nh O O O
4.6 依存句法分析
import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0' # ltp模型目录的路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model') # 依存句法分析模型路径,模型名称为`parser.model`from pyltp import Parser
parser = Parser() # 初始化实例
parser.load(par_model_path) # 加载模型words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
arcs = parser.parse(words, postags) # 句法分析print("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))
parser.release() # 释放模型
输出为:
4:SBV 4:SBV 4:ADV 0:HED
标注集请参考 依存句法关系 。
4.7 语义角色标注
import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0' # ltp模型目录的路径
srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl_win.model') # 语义角色标注模型目录路径,模型目录为`srl`。注意该模型路径是一个目录,而不是一个文件。from pyltp import SementicRoleLabeller
labeller = SementicRoleLabeller() # 初始化实例
labeller.load(srl_model_path) # 加载模型words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
# arcs 使用依存句法分析的结果
roles = labeller.label(words, postags, arcs) # 语义角色标注# 打印结果
for role in roles:print(role.index, "".join(["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))
labeller.release() # 释放模
输出为:
[dynet] random seed: 1676210130
[dynet] allocating memory: 2000MB
[dynet] memory allocation done.
3 A0:(1,1)ADV:(2,2)
例如上面的例子,由于结果输出一行,所以“元芳你怎么看”有一组语义角色。 其谓词索引为3,即“看”。这个谓词有三个语义角色,范围分别是(0,0)即“元芳”,(1,1)即“你”,(2,2)即“怎么”,类型分别是A0、A0、ADV。
标注集请参考 语义角色关系 。
pyltp的使用教程相关推荐
- 使用anaconda配置python3.6环境安装pyltp超详细教程,使用pycharm调用
使用anaconda配置python3.6环境安装pyltp超详细教程,使用pycharm调用 看了一堆网上的安装教程,有的写得太简单,有的太复杂,本菜鸡根本看不懂在说什么,看了好几篇才整明白是怎么回 ...
- 文档关键信息提取形成知识图谱:基于NLP算法提取文本内容的关键信息生成信息图谱教程及码源(含pyltp安装使用教程)
文档关键信息提取形成知识图谱:基于NLP算法提取文本内容的关键信息生成信息图谱(含pyltp安装使用教程) 1. 项目介绍 目标:输入一篇文档,将文档进行关键信息提取,进行结构化,并最终组织成图谱组织 ...
- [python][转载]pyltp的使用教程
1 LTP 简介 LTP提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词.词性标注.句法分析等等工作.从应用角度来看,LTP为用户提供了下列组件: 针对单一自然语言处理任务, ...
- 安装pyltp模块详细教程(windows下python安装)
** 一.pyltp安装会出现各种坑,坑的我就不说了,下面直接讲正确的方法.(一定是windows,python为3.5或3.6,其他版本的方法我也不太清楚,抱歉呢) ** 二.使用wheel安装(其 ...
- 利用依存分析完成开放领域关系抽取
利用依存分析完成开放领域关系抽取 1 问题描述 对于大规模的自由文本内容,完成开放领域三元组的抽取.即在不知道文本内容存在什么关系的情况下,抽取各种各样的关系,以三元组的形式表示出来.就是说,我们的目 ...
- 利用Anaconda安装python3.6环境
一.首先检车Anaconda的版本 1.win+r 2.输入conda --version,回车 注意:3.6的对应的是 Anaconda3-5.2,5.3以后的都是python 3.7的不要看错了 ...
- pyltp 安装教程
pyltp 安装教程 废话不多说 pyltp 的安装踩了不少坑,折腾了好几天终于安装好了,下面将安装方法分享一下. 如果直接 pip install pyltp 大概率会报错,所以这种方法基本行不通. ...
- 从0到1 | 手把手教你如何使用哈工大NLP工具——PyLTP!
作者 | 杨秀璋 来源 | CSDN 博客(CSDN id:Eastmount) (本文经作者授权,此系列文章整理后微信平台首发于AI科技大本营) [导语]此文是作者基于 Python 构建知识图谱的 ...
- 自然语言处理(NLP)之pyltp的介绍与使用(中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注)
pyltp的简介 语言技术平台(LTP)经过哈工大社会计算与信息检索研究中心 11 年的持续研发和推广, 是国内外最具影响力的中文处理基础平台.它提供的功能包括中文分词.词性标注.命名实体识别.依 ...
- 从0到1,手把手教你如何使用哈工大NLP工具——PyLTP
导读:此文是作者基于 Python 构建知识图谱的系列实践教程,具有一定创新性和实用性.文章前半部分内容先介绍哈工大 pytltp 工具,包括安装过程.中文分词.词性标注和实体识别的一些基本用法:后半 ...
最新文章
- 在 IDEA 中使用 Debug,真是太厉害了!
- 如何使用JavaScript将数据附加到div?
- java BASE64流 输出图片。
- 计算机维修工国家职业标准,计算机维修工国家职业标准.pdf
- FreeMarker缓存处理
- 求一个二维数组外围元素之和_C++数组作为函数的参数(学习笔记:第6章 04)...
- 在竞争激烈的ToB公司,这个创始团队拒绝一夜暴富,坚持做好产品
- linux-文件类型-七种
- ElasticSearch优化系列三:索引过程
- laravel5.4根据数据表生成迁移文件
- VUE3(setup响应式函数系统API)
- java数据结构图_java总结数据结构和算法
- 如何用Python快速实现区块链?
- 华为系统里的计算机,一个屏幕操作两个系统 让你的手机装进华为MateBook 14电脑里...
- gittrack_Git 追踪分支
- 用JAVA实现小学四则运算
- 【送书活动】一本超牛作者,超牛口碑,超牛销量的R数据科学重磅图书免费送啦!...
- C# 中返回星期的函数
- Mac实践--MAC搭建FTP服务器
- android 7 zip压缩文件,7-zip怎么把大文件压缩到最小