pyltp python具体使用

import re
from pyltp import NamedEntityRecognizer
from pyltp import SementicRoleLabeller
from pyltp import Parser
from pyltp import Postagger

def ltp_segmentor(sentence):""" 分割字符串 """segmentor = Segmentor()cws_model_path = '..\\ltp_data\\cws.model'lexicon_path = '..\\ltp_data\\lexicon.txt'segmentor.load_with_lexicon(cws_model_path, lexicon_path)segmentor.load(cws_model_path)words = segmentor.segment(sentence)segmentor.release()return list(words)def extract_data():parser = Parser()  # 初始化模型postagger = Postagger() # 词性标注labeller = SementicRoleLabeller() # 语义校色标注recognizer = NamedEntityRecognizer() # 命名实体识别model_path = '..\\ltp_data\\pos.model'lexicon_path = '..\\ltp_data\\posLexicon.txt'postagger.load_with_lexicon(model_path, lexicon_path) # 加载自定义词性表labeller.load('..\\ltp_data\\pisrl_win.model') # 加载模型recognizer.load('..\\ltp_data\\ner.model')postagger.load('..\\ltp_data\\pos.model')parser.load('..\\ltp_data\\parser.model')content = "#•江都建设集团南京分公司南钢项目部安全生产规章制度不落实，作业现场安全管理缺失，安全操作规程不认真执行"text = re.sub("[#•]", "", content) # 对语句进行预处理words = sc_fun.ltp_segmentor(text) # 分词postags = postagger.postag(words)arcs = parser.parse(words, postags)netags = recognizer.recognize(words, postags) # 命名实体识别print(list(netags))rely_id = [arc.head for arc in arcs]relation = [arc.relation for arc in arcs] # 关系heads = ['Root' if id == 0 else words[id - 1] for id in rely_id]roles = labeller.label(words, postags, arcs)for i in range(len(words)):print(i, relation[i], (words[i], heads[i]), postags[i])for role in roles:print([role.index, "".join(["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments])])labeller.release()  # 释放模型parser.release()postagger.release()recognizer.release()

if __name__ == '__main__':extract_data()

结果：

['B-Ni', 'I-Ni', 'I-Ni', 'I-Ni', 'I-Ni', 'I-Ni', 'E-Ni', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O','O', 'O', 'O', 'O', 'O', 'O']
0 ATT ('江都', '集团') ns
1 ATT ('建设', '集团') v
[11, 'A1:(0,9)ADV:(10,10)']
[24, 'A1:(19,21)ADV:(22,23)']

分开封装一样的：

def ltp_segmentor(sentence):""" 分割字符串 """segmentor = Segmentor()segmentor.load('..\\ltp_data\\cws.model')words = segmentor.segment(sentence)segmentor.release()return list(words)def ltp_parser(words, postags):parser = Parser()parser.load('..\\ltp_data\\parser.model')arcs = parser.parse(words, postags)parser.release()return list(arcs)def ltp_postags(words):postagger = Postagger()model_path = '..\\ltp_data\\pos.model'lexicon_path = '..\\ltp_data\\posLexicon.txt'postagger.load_with_lexicon(model_path, lexicon_path)  # 加载自定义词性表postagger.load(model_path)postags = postagger.postag(words)postagger.release()return list(postags)

pyltp python具体使用相关推荐

[python][转载]pyltp的使用教程
1 LTP 简介 LTP提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词.词性标注.句法分析等等工作.从应用角度来看,LTP为用户提供了下列组件: 针对单一自然语言处理任务, ...
Python下的自然语言处理利器-LTP语言技术平台 pyltp 学习手札
1 什么是pyltp 语言技术平台(LTP) 是由哈工大社会计算与信息检索研究中心 11 年的持续研发而形成的一个自然语言处理工具库,其提供包括中文分词.词性标注.命名实体识别.依存句法分析.语义角 ...
安装pyltp模块详细教程（windows下python安装）
** 一.pyltp安装会出现各种坑,坑的我就不说了,下面直接讲正确的方法.(一定是windows,python为3.5或3.6,其他版本的方法我也不太清楚,抱歉呢) ** 二.使用wheel安装(其 ...
python语音标注平台_Python下的自然语言处理利器-LTP语言技术平台 pyltp 学习手札...
1 什么是pyltp 语言技术平台(LTP) 是由哈工大社会计算与信息检索研究中心 11 年的持续研发而形成的一个自然语言处理工具库,其提供包括中文分词.词性标注.命名实体识别.依存句法分析.语义角 ...
使用 LTP的Python包——pyltp 进行中文分词
哈工大语言技术平台LTP(Language Technology Platform)提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词.词性标注.句法分析等等工作.LTP本身是 ...
从0到1 | 手把手教你如何使用哈工大NLP工具——PyLTP！
作者 | 杨秀璋来源 | CSDN 博客(CSDN id:Eastmount) (本文经作者授权,此系列文章整理后微信平台首发于AI科技大本营) [导语]此文是作者基于 Python 构建知识图谱的 ...
自然语言处理(NLP)之pyltp的介绍与使用(中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注)
pyltp的简介语言技术平台(LTP)经过哈工大社会计算与信息检索研究中心 11 年的持续研发和推广, 是国内外最具影响力的中文处理基础平台.它提供的功能包括中文分词.词性标注.命名实体识别.依 ...
哈工大pyltp包安装过程
真的辛酸.先说环境win10 x64, python2.7 下载pyltp包 anaconda和pip都没有依赖,需要自己手动下载.配置. 下载pyltp并解压到任意位置下载页面:https://g ...
python 词频统计，分词笔记
Python的中文分词库有很多,常见的有: jieba(结巴分词) THULAC(清华大学自然语言处理与社会人文计算实验室) pkuseg(北京大学语言计算与机器学习研究组) SnowNLP pynl ...
python语法问题
1:Python处理API响应异常:ValueError: check_hostname requires server_hostname 有人说是网络连接的问题,我自己的还没有处理好 https:/ ...

pyltp python具体使用

pyltp python具体使用相关推荐

最新文章

热门文章