polyglot：Pipeline 多语言NLP工具
公众号 系统之神与我同在
http://link.zhihu.com/?target=https%3A//cloud.tencent.com/developer/article/1519291
目前，在NLP任务处理中，Python支持英文处理的开源包有NLTK、Scapy、StanfordCoreNLP、GATE、OPenNLP，支持中文处理的开源工具包有Jieba、ICTCLAS、THU LAC、HIT LTP，但是这些工具大部分仅对特定类型的语言提供支持。本文将介绍功能强大的支持Pipeline方式的多语言处理Python工具包:polyglot。该项目最早是由AboSamoor在2015年3月16日在GitHub上开源的项目，已经在Github收集star 1021个。
Free software: GPLv3 license
Documentation: http://polyglot.readthedocs.org
GitHub: https://github.com/aboSamoor/polyglot
特征
·语言检测 Language Detection (支持196种语言)
·分句、分词 Tokenization (支持165种语言)
·实体识别 Named Entity Recognition (支持40种语言)
·词性标注 Part of Speech Tagging(支持16种语言)
·情感分析 Sentiment(支持136种语言)
·词嵌入 Word Embeddings(支持137种语言)
·翻译 Transliteration(支持69种语言)
·管道 Pipelines
polyglot：Pipeline 多语言NLP工具相关推荐
- 这个NLP工具，玩得根本停不下来
今天推荐一个有趣的自然语言处理公众号AINLP,关注后玩得根本停不下来!AINLP的维护者是我爱自然语言处理(52nlp)博主,他之前在腾讯从事NLP相关的研发工作,目前在一家创业公司带技术团队.AI ...
- 轻量级NLP工具Trankit开源，中文处理更精准，超越斯坦福Stanza，内存占用小45%
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI 最新轻量 ...
- 轻量级NLP工具开源，中文处理更精准，超越斯坦福Stanza
2021-04-02 12:51:35 梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI 最新轻量级多语言NLP工具集Trankit发布1.0版本,来自俄勒冈大学. 基于Transforme ...
- 中文 NLP 工具总结
文章目录 中文 NLP 工具总结 1. Jieba 分词 1.1 简介 1.2 模型原理 1.3 安装 1.4 使用 1.5 分词评测 2. pyltp--哈工大 2.1 简介 2.2 模型原理 2. ...
- 从0到1，手把手教你如何使用哈工大NLP工具——PyLTP
导读:此文是作者基于 Python 构建知识图谱的系列实践教程,具有一定创新性和实用性.文章前半部分内容先介绍哈工大 pytltp 工具,包括安装过程.中文分词.词性标注和实体识别的一些基本用法:后半 ...
- NLP工具——自制zero-shot事件抽取器
NLP工具--自制zero-shot事件抽取器 0. 简介 1. 抽取全部潜在的事件 2. 抽取特定类型的事件 3. 结语 0. 简介 在事件抽取任务中,数据的获取是一件非常关键工作,由于数据标注的成 ...
- 权力的游戏 曲 计算机,为什么语言技术工具还不能处理《权力的游戏》
原标题:为什么语言技术工具还不能处理<权力的游戏> 来自阿姆斯特丹自由大学和荷兰皇家科学院人文学科集群的研究人员评估了四种最先进的识别文本名称的工具,以评估和提高他们在通俗小说中的表现.他 ...
- 从软件工程看，语言只是工具
"软件工程"是什么?代码.方法.过程.工程与组织的关系是什么?语言与工具在哪一个层次?看下面一幅图一目了然: 从这个模型中可以看到,在"程序"与"方法 ...
- c++整理程序 dev_C编程从入门到实践：C语言开发工具详解（2）
DEV C++是一款经典的轻量级C语言开发工具,其安装大小只有几十兆,并且具有图形视图界面,操作比较容易.在DEV C++编码界面中可以使用复制和粘贴等命令,这提高了开发效率. 2.3.1安装DEV ...
最新文章
- TVM部署预定义模型
- Go 学习笔记（20）— Go 操作 json 文件（编码生成 json、解码 json 为 map、解码 json 为 struct）
- elasticsearch-6.0.1安装
- DeeCamp2019年笔试题A卷
- html给自动生成的td赋值,JS动态创建Table,Tr,Td并赋值的具体实现
- 一次cpu占用100%的故障解决
- 多台服务器同时装系统吗,多服务器同时安装操作系统
- mysql redo log 几个组_必须了解的mysql三大日志,你知道几个？
- 【图像去噪】基于BM3D算法实现图像去噪含Matlab源码
- 开源| 直播推拉流2.0升级了什么
- 餐饮行业收银系统源码，C# .NET + MSSQL WPF
- 第21章 DHCP
- Spectrum数据采集卡和任意波形发生器在杨百翰大学声波研究中的应用
- 华为面试题： 杨辉三角形的变形
- 你该知道的浏览器请求与Header
- 刚体6D位姿估计方法综述
- 第一个C++的程序你好世界
- c语言遍历json数组,如何使用c动态获取所有json元素?
- 【CSS—美化网页元素】
- 利用计算机设计比率分析模型,整理的答案——财务模型分析与设计的复习思考题...