python清洗数据去除停用词_python之NLP数据清洗

"""安装模块：bs4 nltk gensim

nltk:处理英文

1、安装

2、nltk.download() 下载相应的模块

英文数据处理：

1、去掉html标签 example = BeautifulSoup(df['review'][1000],'html.parser').get_text()

2、移除标点 example_letter = re.sub(r'[^a-zA-Z]',' ',example)

3、切分成词/token words = example_letter.lower().split()

4、去掉停用词例如：the a an it's

stopwords = {}.fromkeys([line.rstrip() for line in open('./stopwords.txt')])

words_nostop = [w for w in words if w not in stopwords]

5、重组为新的句子

词向量解决方案：

1、one-hot编码

缺点：这种方案浪费存储空间还是次要的，更重要的是词与词（向量与向量）之间没有相关性，计算机完全无法进行哪怕一丁点的理解和处理

2、基于奇异值分解（SVD）的方法

步骤：a)第一步是通过大量已有文档统计形成词空间矩阵X，有两种办法。

一种是统计出某篇文档中各个词出现的次数，假设词的数目是W、文档篇数是M，则此时X的维度是W*M；

第二种方法是针对某个特定词，统计其前后文中其它词的出现频次，从而形成W*W的X矩阵。

b)第二步是针对X矩阵进行SVD分解，得到特征值，根据需要截取前k个特征值及对应的前k个特征向量，

那么前k个特征向量构成的矩阵维度是W*k，这就构成了所有W个词的k维表示向量

缺点：

1、需要维护一个极大的词空间稀疏矩阵X，而且随着新词的出现还会经常发生变化；

2、SVD运算量大，而且每增减一个词或文档之后，都需要重新计算

3、构建一个word2vec模型：通过大量文档迭代学习其中的参数及已有词的编码结果，这样每新来一篇文档都不用修改已有模型，只需要再次迭代计算参数和词向量即可

举例：我爱python和java

a)CBOW算法: 输入:我爱，目标值：python和java

CBOW算法使用上下文窗口内词向量作为输入，将这些向量求和（或取均值）后，求得与输出词空间的相关性分布，

进而使用softmax函数得到在整个输出词空间上的命中概率，与目标词one-hot编码的交叉熵即为loss值，

通过loss针对输入和输出词向量的梯度，即可使用梯度下降（gradient descent）法得到一次针对输入和输出词向量的迭代调整。

b)Skip-Gram算法: 输入:python和java，目标值：我爱

Skip-Gram算法使用目标词向量作为输入，求得其与输出词空间的相关性分布，

进而使用softmax函数得到在整个输出词空间上的命中概率，与one-hot编码的上下文词逐一计算交叉熵，

求和后即为loss值，通过loss针对输入和输出词向量的梯度，

即可使用梯度下降（gradient descent）法得到一次针对输入和输出词向量的迭代调整"""

python清洗数据去除停用词_python之NLP数据清洗相关推荐

python清洗数据去除停用词_Python从pandas数据帧中删除停用词
我想从我的专栏"tweets"中删除停用词.如何迭代每一行和每个项目? pos_tweets = [('I love this car', 'positive'), ('This ...
python清洗数据去除停用词_关于regex：在Python中删除停用词的快捷方法
我正在尝试从文本字符串中删除停用词: 1 2 3from nltk.corpus import stopwords text = 'hello bye the the hi' text = ' '.j ...
python文本分词及去除停用词
对于文本分词,此处使用的是python自带的jieba包进行,首先我们要先读取我们所需要分词的文章,然后使用jieba.cut进行分词,注意分词时要将这些段落归并成同一个字符串,然后输出的是一个列表. ...
[Python]jieba切词添加字典去除停用词、单字 python 2020.2.10
源码如下: import jieba import io import re#jieba.load_userdict("E:/xinxi2.txt") patton=re.comp ...
python结巴分词去掉停用词、标点符号、虚词_NLP自然语言处理入门-- 文本预处理Pre-processing...
引言自然语言处理NLP(nature language processing),顾名思义,就是使用计算机对语言文字进行处理的相关技术以及应用.在对文本做数据分析时,我们一大半的时间都会花在文本预处理 ...
去除停用词并绘制词云图
简单处理数据后绘制词云图以前看见词云图完全没想过它是怎么做出来的,现在才知道Python是可以画词云图的,而且非常简单,只要数据处理好. # -*- coding: gb2312 -*- #codi ...
文本挖掘（超详细：数据获取 - 数据清洗 - 中文分词 - 去除停用词 - 词频统计 - 词云图 - 情感分析）
文本挖掘(超详细) 朋友们好,文本挖掘这篇文章写了也有一段时间了,承蒙朋友们的厚爱,作者后面有做过一个升级版的文本挖掘,但苦于没有时间一直没有更新,现在在抽时间把后面写的这个也发布出来,两篇文章的步骤 ...
扫雷大军：为什么你不应该去除停用词？
全文共3342字,预计学习时长10分钟来源:Pexels 我们常常认为在预处理文本时,去除停用词是很明智的一种操作. 的确,我同意这一做法,但是我们应该谨慎决定该去除哪类停用词. 比如说,去除停用词 ...
中文分词与去除停用词
jieba分词的三种模式精确模式:把文本精确的切分开,不存在冗余单词. 全模式:把文本中所有可能的词语都扫描出来,有冗余. 搜索引擎模式:在精确模式基础上,对长词再次切分. jieba库的解析 ji ...

python清洗数据去除停用词_python之NLP数据清洗

python清洗数据去除停用词_python之NLP数据清洗相关推荐

最新文章

热门文章