文本预处理库spaCy的基本使用(快速入门)
文章目录
- spaCy 简介
- spaCy 安装
- spaCy的基本使用
- spaCy中的几个重要类
- spaCy的处理过程(Processing Pipeline)
- 实战:对中文进行分词和Word Embedding
spaCy 简介
spaCy(官方网站,github链接)是一个NLP领域的文本预处理Python库,包括分词(Tokenization)、词性标注(Part-of-speech Tagging, POS Tagging)、依存分析(Dependency Parsing)、词形还原(Lemmatization)、句子边界检测(Sentence Boundary Detection,SBD)、命名实体识别(Named Entity Recognition, NER)等功能。具体支持功能参考链接。
spaCy的特点:
- 支持多种语言
- 使用深度学习模型进行分词等任务
- 每种语言基本都提供了不同尺寸的模型可供选择,用户可根据实际需求选择。用户可通过官网链接或github链接查询模型。
- 简单易用
spaCy 安装
pip install spacy -i https://pypi.tuna.tsinghua.edu.cn/simple
若想安装GPU版,可参考官方文档
spaCy的基本使用
spacy对所有的任务基本都是4步走:
- 下载模型
- 加载模型
- 对句子进行处理
- 获取结果
举例,使用spacy进行英文分词:
1.首先通过命令下载模型:
python -m spacy download en_core_web_sm
en_core_web_sm
是模型的名称,可以到该链接搜索模型。
由于在国内,可能会有下载慢的问题,可以到github搜索模型,然后使用
pip install some_model.whl
手动安装
2.加载、使用模型和获取结果
import spacy # 导包
# 加载模型
nlp = spacy.load("en_core_web_sm")
# 使用模型,传入句子即可
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")
# 获取分词结果
print([token.text for token in doc])
最终输出为:
['Apple', 'is', 'looking', 'at', 'buying', 'U.K.', 'startup', 'for', '$', '1', 'billion']
spaCy中的几个重要类
在上一节中,有几个关键对象
nlp
:该对象为spacy.Language
类(官方文档链接)。spacy.load
方法会返回该类对象。nlp("...")
本质就是调了Language.__call__
方法doc
: 该对象为spacy.tokens.Doc
(官方文档链接),里面包含分词、词性标注、词形还原等结果(具体可参考链接)。doc
是一个可迭代对象。token
: 该对象为spacy.tokens.token.Token
(官方文档链接),可以通过该对象获取每个词的具体属性(单词、词性等),具体可参考链接。
spaCy的处理过程(Processing Pipeline)
调用nlp(...)
时会按照上图的顺序执行(先分词,然后进行词性标注等等)。对于不需要的组件,可以选择在加载模型时排除掉:
nlp = spacy.load("en_core_web_sm", exclude=["ner"])
或者禁用掉:
nlp = spacy.load("en_core_web_sm", disable=["tagger", "parser"])
对于禁用,可以在后续想要使用的时候解除禁用:
nlp.enable_pipe("tagger")
所有内置的组件可参考链接
实战:对中文进行分词和Word Embedding
1.首先到官方文档的中文模块下找到合适的模型。这里就选择最小的那个吧。
2.下载模型
python -m spacy download zh_core_web_sm
3.写代码
import spacy # 导包
# 加载模型,并排除掉不需要的components
nlp = spacy.load("zh_core_web_sm", exclude=("tagger", "parser", "senter", "attribute_ruler", "ner"))
# 对句子进行处理
doc = nlp("自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。")
# for循环获取每一个token与它对应的向量
for token in doc:# 这里为了方便展示,只截取5位,但实际该模型将中文词编码成了96维的向量print(token.text, token.tensor[:5])
在官方提供的模型中,具有tok2vec
这个组件,说明该模型可以对词进行embedding,很方便。最终的输出为:
自然 [-0.16925007 -0.8783153 -1.4360809 0.14205566 -0.76843846]
语言 [ 0.4438781 -0.82981354 -0.8556605 -0.84820974 -1.0326502 ]
处理 [-0.16880168 -0.24469137 0.05714838 -0.8260342 -0.50666815]
是 [ 0.07762825 0.8785285 2.1840482 1.688557 -0.68410844]
... // 略
和 [ 0.6057179 1.4358768 2.142096 -2.1428592 -1.5056412]
方法 [ 0.5175674 -0.57559186 -0.13569726 -0.5193214 2.6756258 ]
。 [-0.40098143 -0.11951387 -0.12609476 -1.9219975 0.7838618 ]
文本预处理库spaCy的基本使用(快速入门)相关推荐
- python的ppt库_Python绘图库matplotlib快速入门.ppt
Python绘图库matplotlib快速入门 *;*;;快速绘图 matplotlib的pyplot子库提供了和matlab类似的绘图API,方便用户快速绘制2D图表.(matplotlib_sim ...
- nDPI – 快速入门指南
(注:最近在学习ntop这个工具,其核心是nDPI这个库,关于这个库,官方有一个快速入门指南,不过肯定是英文的,我在阅读过程中,顺便翻译了一下,当然个人知识有限,翻译的有问题的地方,望留言指正,感谢. ...
- 【立创EDA】快速入门与快捷功能
目录 快速入门 快捷功能 团队功能 交叉选择与布局传递 LOGO丝印 LOGO开窗处理 总结 更丰富的库 引入器件的概念 快速入门 1.[立创EDA快速入门_30min] 2.[立创EDA专业版快速入 ...
- 文本预处理方法_生产中的自然语言处理27种快速文本预处理方法
文本预处理方法 大纲(Outline) Estimates state that 70%–85% of the world's data is text (unstructured data) [1] ...
- 文本数据可视化_如何使用TextHero快速预处理和可视化文本数据
文本数据可视化 自然语言处理 (Natural Language Processing) When we are working on any NLP project or competition, ...
- python 英语分词_基于Python NLTK库进行英文文本预处理
文本预处理是要文本处理成计算机能识别的格式,是文本分类.文本可视化.文本分析等研究的重要步骤.具体流程包括文本分词.去除停用词.词干抽取(词形还原).文本向量表征.特征选择等步骤,以消除脏数据对挖掘分 ...
- NLP任务中的文本预处理步骤、工具和示例
作者 | Viet Hoang Tran Duong 来源 | DeepHub IMBA 头图 | CSDN付费下载于视觉中国 数据是新的石油,文本是我们需要更深入钻探的油井.文本数据无处不在,在实际 ...
- Python文本预处理:步骤、使用工具及示例
作者 | Data Monster 译者 | Linstancy 编辑 | 一一 出品 | AI科技大本营(ID:rgznai100) 本文将讨论文本预处理的基本步骤,旨在将文本信息从人类语言转换为机 ...
- 【NLP】文本预处理:删除单词停用词
作者 | Chetna Khanna 编译 | VK 来源 | Towards Data Science 我们很清楚这样一个事实:计算机可以很容易地处理数字. 然而,我们掌握的大部分信息都是以文本的形 ...
最新文章
- MySQL主从(MySQL proxy Lua读写分离设置,一主多从同步配置,分库分表方案)
- VTK:Rendering之HiddenLineRemoval
- Javascript 装载和执行
- 引领架构创新之路第八届系统架构师大会撼世来袭
- Kylin 2.0 Spark Cubing 优化改进
- 和显卡驱动要配套吗_显卡有必要更新驱动程序吗?老玩家的建议请收好
- python怎么读取excel-python读写excel文件
- android double值排序,android根据Double类型数据经纬度算出距离再根据距离实现排序功能...
- 手机端输入键盘导致 position fixed
- WPF自定义控件(一)の控件分类
- FasterRCNN详解
- 安师大计算机专业排名多少,安师大的计算机专业怎么样
- 【转帖】GBase 数据库
- C++学习(七十二)英寸 厘米 像素 dpi 分辨率
- springboot使用xxl-job
- 计算机 90学时培训总结,90学时的培训心得体会
- 正式发布!Matlab配色神器TheColor
- RK988键盘切换蓝牙模式
- 车牌识别EasyPR(2)——车牌颜色定位与偏斜扭转
- Remove Assignments to Parameters 移除对参数的赋值