文本数据分析：删除停用词

停用词是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言文本之前或之后会自动过滤掉某些没有具体意义的字或词，这些字或词即被称为停用词，比如英文单词“I”“the”或中文中的“啊”等。

　　停用词的存在直接增加了文本的特征难度，提高了文本数据分析过程中的成本，如果直接用包含大量停用词的文本作为分析对象，则还有可能会导致数据分析的结果存在较大偏差，通常在处理过程中将它们从文本中删除，如图8-4所示。

　　图8-4 删除停用词示例

　　从图8-4中可以看出，即使从整个语句中删除了停用词，句子整体的意思并没有产生很大的影响。

　　停用词都是人工输入、非自动化生成的，生成后的停用词会形成一个停用词表，但是并没有一个明确的停用词表能够适用于所有的工具。对于中文的停用词，可以参考中文停用词库、哈工大停用词表、百度停用词列表，对于其他语言来说，可以参照https://www.ranks.nl/stopwords进行了解。

　　删除停用词常用的方法有词表匹配法、词频阈值法和权重阈值法，NLTK库所采用的就是词表匹配法，它里面有一个标准的停用词列表，在使用之前要确保已经下载了stopwords语料库，并且用import语句导入stopwords模块，示例代码如下。

In [20]: from nltk.corpus import stopwords# 原始文本sentence='Python is a structured and powerful object-orientedprogramming language.'# 将英文语句按空格划分为多个单词words=nltk.word_tokenize(sentence)words
Out[20]: ['Python', 'is', 'a', 'structured', 'and', 'powerful', 'object-oriented', 'programming', 'language', '.']
In [22]: # 获取英文停用词列表stop_words=stopwords.words('english')# 定义一个空列表remain_words=[]# 如果发现单词不包含在停用词列表中，就保存在remain_words中for word in words:if word not in stop_words:remain_words.append(word)remain_words
Out[22]: ['Python', 'structured', 'powerful', 'object-oriented','programming', 'language', '.']

　　通过比较删除前与删除后的结果可以发现，is、a、and这几个常见的停用词都被删除了。

文本数据分析：删除停用词相关推荐

中文停用词文档_使用Python中的NLTK和spaCy删除停用词与文本标准化
译者 | VK 来源 | Analytics Vidhya [磐创AI 导读]:本文介绍了如何使用Python中的NLTK和spaCy删除停用词与文本标准化,欢迎大家转发.留言.想要更多电子杂志的机器 ...
[转载] 使用Python中的NLTK和spaCy删除停用词与文本标准化
参考链接: Python | 用NLTK进行词干分析概述了解如何在Python中删除停用词与文本标准化,这些是自然语言处理的基本技术探索不同的方法来删除停用词,以及讨论文本标准化技术,如词干化 ...
使用Python中的NLTK和spaCy删除停用词与文本标准化
概述了解如何在Python中删除停用词与文本标准化,这些是自然语言处理的基本技术探索不同的方法来删除停用词,以及讨论文本标准化技术,如词干化(stemming)和词形还原(lemmatizatio ...
python清洗数据去除停用词_关于regex：在Python中删除停用词的快捷方法
我正在尝试从文本字符串中删除停用词: 1 2 3from nltk.corpus import stopwords text = 'hello bye the the hi' text = ' '.j ...
python清洗数据去除停用词_Python从pandas数据帧中删除停用词
我想从我的专栏"tweets"中删除停用词.如何迭代每一行和每个项目? pos_tweets = [('I love this car', 'positive'), ('This ...
代码！以备不时之需！中文文本预处理（停用词、空格分隔、按行分类）
# 显示处理流程 import logging logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', leve ...
英文文本导入去停用词
对于大段大段的英文txt文本,可以用open指令打开,手动建立stopwords字典,进行停用词处理.(附上通用词) with open('E:\\DATA\\520only abstract.txt ...
【NLP】文本预处理：删除单词停用词
作者 | Chetna Khanna 编译 | VK 来源 | Towards Data Science 我们很清楚这样一个事实:计算机可以很容易地处理数字. 然而,我们掌握的大部分信息都是以文本的形 ...
python处理停用词(stopwords)
python处理停用词stopwords 停用词是什么从一段文本中删除停用词停用词是什么将数据转换为计算机可以理解的内容的过程称为预处理.预处理的主要形式之一是过滤掉无用的数据.在自然语言处理中 ...

文本数据分析：删除停用词

文本数据分析：删除停用词相关推荐

最新文章

热门文章