一过滤文本

去除停用词典和错词检错都可以用词典的形式完成，以停用词为例，我使用的应该是知网提供的中文停用词典。测试的数据集是小学生数学题。

print(text)  # 打印未去除停用词前版本with open(r"C:\Users\BF\Desktop\NLTK\stopwords.txt","r",encoding='utf-8') as stopfile:  # 读取停用词，用utf-8的编码格式txt = stopfile.readlines()  # 一次性将所有的词按行读进来stopword = set(word.strip('\n') for word in txt)  # 去除每个词后的换行符放入tuple中removetext = [word for word in text if word not in stopword]  # 去除停用词
print(removetext)

停用词的下载链接

https://pan.baidu.com/s/1aGoVyl-NkBXwQ9nEbvisyQ

当然如果你自己的中文的错别字词典可以用同样的方式使用它，这里我用的是书本上英文文本的例子，找出文本中罕见的或者拼写错误的词汇表。这里有一个小技巧，如果你比较的是两个元祖，可以用自带的方法求两个元祖的交集，差集，并集。


def unusual_words(text):text_vocab = set(w.lower() for w in text if w.isalpha())  # 读取带处理的文本english_vocab = set(w.lower() for w in nltk.corpus.words.words())  # 读取nltk自带的过滤文本unusual = text_vocab.difference(english_vocab)return unusualunusual_words(nltk.corpus.nps_chat.words())

二过滤文本

发音词典，是为了语音合成器而设计的。中文的发音词典我也没找到，所以这章不介绍（可以用来找押韵词，对写歌的人估计很有帮助）

Python自然语言处理—停用词词典相关推荐

jieba分词三种分词模式、用户自定义词典、停用词词典的使用
目录三种分词模式自定义词典使用停用词词典的使用补充知识 1.中文语料库: 2.中文分词技术 2.1 规则分词 2.2 统计分词三种分词模式精确模式:试图将句子最精确地切分开,适合文本分析. ...
python清洗数据去除停用词_关于regex：在Python中删除停用词的快捷方法
我正在尝试从文本字符串中删除停用词: 1 2 3from nltk.corpus import stopwords text = 'hello bye the the hi' text = ' '.j ...
IKAnalyzer使用停用词词典进行分词
转载自:https://www.cnblogs.com/yxwkf/p/5224231.html @Test // 測试分词的效果,以及停用词典是否起作用 public void test() thr ...
python删除中文停用词_python词云 wordcloud+jieba生成中文词云图
简介 Python+jieba+wordcloud+txt+gif生成动态中文词云本文基于爬虫爬取某微信号三个月的文章为例,展示了生成中文词云的完整过程.本文需要的两个核心Python类库: jie ...
python去除文本停用词（jieba分词+哈工大停用词表）
停用词表上github搜索中文停用词就有很多版本,百度.哈工大等.(自行下载,下面推荐一个,现在github windows平台应该要一些操作或fanqiang才能上,linux系统能直接上) ht ...
python去除中文停用词_删除停止词Python
你不需要在用户定义的函数中构造所有的代码,我不确定这背后是否有原因,但问题非常简单,在阅读完你的datafrme之后,可以用实际上2行代码简洁地解决.在import pandas as pd from ...
中文停用词文档_使用Python中的NLTK和spaCy删除停用词与文本标准化
译者 | VK 来源 | Analytics Vidhya [磐创AI 导读]:本文介绍了如何使用Python中的NLTK和spaCy删除停用词与文本标准化,欢迎大家转发.留言.想要更多电子杂志的机器 ...
ik分词和jieba分词哪个好_Python 中文文本分析实战：jieba分词+自定义词典补充+停用词词库补充+词频统计...
最近项目需要,实现文本的词频分析,折腾了几天才完成任务,有点成就感,最后整理总结一下这部分的内容,希望更多同僚受益. 一.使用前准备环境:Python3.6 安装结巴:pip install ji ...
[转载] 使用Python中的NLTK和spaCy删除停用词与文本标准化
参考链接: Python | 用NLTK进行词干分析概述了解如何在Python中删除停用词与文本标准化,这些是自然语言处理的基本技术探索不同的方法来删除停用词,以及讨论文本标准化技术,如词干化 ...
使用Python中的NLTK和spaCy删除停用词与文本标准化
概述了解如何在Python中删除停用词与文本标准化,这些是自然语言处理的基本技术探索不同的方法来删除停用词,以及讨论文本标准化技术,如词干化(stemming)和词形还原(lemmatizatio ...

Python自然语言处理—停用词词典

一过滤文本

二过滤文本

Python自然语言处理—停用词词典相关推荐

最新文章

热门文章

Python自然语言处理—停用词词典

一 过滤文本

二 过滤文本

Python自然语言处理—停用词词典相关推荐

最新文章

热门文章

一过滤文本

二过滤文本