NLP之文本预处理与特征工程——停顿词与词的过滤(2)

在NLP应用中，通常需要对文本中的停用词、出现频率很低的词汇过滤掉，这类似于特征筛选。

停顿词和低频词

停顿词：对于理解文章或者句子没有太大意义的词。这些词实际上是任何语言中最常见的词（如冠词、介词、代词、连词等），不会给文本增加太多信息。英语中几个停用词的例子是“the”，“a”，“an”，“so”，“what”。

低频词：语料中出现频率很低的词，这类词对分析作用不大，所以一般也会去掉。比如1万个单词的文章里它只出现了一两次。

注意事项：在删除停用词之前，先研究一下你的任务和你要解决的问题，然后再做决定。

停顿词库

1. 自然语言工具包（NLTK）

NLTK是一个可以使用自然语言库。当你将开始你的NLP之旅，这是你将使用的第一个库。导入库和英语停用词列表的步骤如下：

import nltk
from nltk.corpus import stopwordssw_nltk = stopwords.words('english')
print(sw_nltk)text = "When I first met her she was very quiet. She remained quiet during the entire two hour long journey from Stony Brook to New York."words = [word for word in text.split() if word.lower() not in sw_nltk]
new_text = " ".join(words)print(new_text)
print("Old length: ", len(text))
print("New length: ", len(new_text))# 把我自己的停用词加到列表上
sw_nltk.extend(['first', 'second', 'third', 'me'])
print(len(sw_nltk))# 从预先制作的列表中删除停用词
sw_nltk.remove('not')

2. spaCy

spaCy是一个用于高级NLP的开源软件库。这个库现在非常流行，NLP从业者使用它来完成他们的工作。

import spacy
# 加载英文空间小模型
en = spacy.load('en_core_web_sm')
sw_spacy = en.Defaults.stop_words
print(sw_spacy)# 删除文本中停顿词
text = "When I first met her she was very quiet. She remained quiet during the entire two hour long journey from Stony Brook to New York."words = [word for word in text.split() if word.lower() not in sw_spacy]
new_text = " ".join(words)
print(new_text)
print("Old length: ", len(text))
print("New length: ", len(new_text))

3. Gensim

Gensim(Generate-Similar)是一个使用现代统计机器学习的开源软件库。根据Wikipedia的说法，Gensim被设计成使用数据流和增量在线算法来处理大型文本集合，这与其他大多数只针对内存处理的机器学习软件包不同。

import gensim
from gensim.parsing.preprocessing import remove_stopwords, STOPWORDS
print(STOPWORDS)