python 去重_上来就情感分析？我还是先用python去去重吧！

大家好

下面我给大家讲讲：为什么用python情感分析之前应该先去重！

1、原理说明

1）为什么要进行数据的句内去重？

在做情感分析的时候，有时候需要对文本进行分词，做词频统计。上图是某个店铺的留言数据，对于第26条，只是为了说明“东西很好，很好用!”，但是为了凑字数留言，就写成了如图所示。但是我们在进行词频统计的时候，只统计“东西很好，很好用!”一次就够了，因此，就需要用到“数据的句内去重”。

2）以“单字词”为例，进行原理说明

3）原理说明

通过上图可以发现，进行词语句内去重，首先判断位置j到j+1位置的元素是否相等，如果相等，再判断j+1处的元素和j+2处的元素是否相等，这样依次进行下去。

由于原理不好用语言，进行详细叙述，因此你可以好好琢磨一下下面的代码。对于不懂的地方，可以在博客中留言说明。

2、“单字词”句内去重

st = "我很是好好好好好好呀"for j in range(len(st)):if st[j:j+1] == st[j+1:j+2]:k = j + 1while st[k:k+1] == st[k+1:k+2] and k<len(st):  # k<len(st)是为了退出这个while循环，否则一直循环k = k + 1st = st[:j] + st[k:]st

结果如下：

3、“双字词”句内去重

st = "今天天气天气天气天气好哦"for j in range(len(st)):if st[j:j+2] == st[j+2:j+4]:k = j + 2while st[k:k+2] == st[k+2:k+4] and k<len(st):k = k + 2st = st[:j] + st[k:]st

结果如下：

4、“三字词”句内去重

st = "我天气好天气好天气好哈"for j in range(len(st)):if st[j:j+3] == st[j+3:j+6]:k = j + 3while st[k:k+3] == st[k+3:k+6] and k<len(st):k = k + 3st = st[:j] + st[k:]st

结果如下：

5、将上述情况，封装成函数

def func(st):for i in range(1,int(len(st)/2)+1):for j in range(len(st)):if st[j:j+i] == st[j+i:j+2*i]:k = j + iwhile st[k:k+i] == st[k+i:k+2*i] and k<len(st):k = k + ist = st[:j] + st[k:]return stst = "我爱你我爱你我爱你好你好你好哈哈哈哈哈"func(st)

结果如下：

python 去重_上来就情感分析？我还是先用python去去重吧！相关推荐

【人工智能毕设之基于Python+flask+bilstm的评论情感分析系统-哔哩哔哩】 https://b23.tv/QU56eTl
[人工智能毕设之基于Python+flask+bilstm的评论情感分析系统-哔哩哔哩] https://b23.tv/QU56eTl https://b23.tv/QU56eTl
Python实现A股股市情感分析，含数据集可直接运行
Python实现A股股市情感分析,含数据集可直接运行 Stock Market Sentiment Analysis: 股市情感分析完整代码下载地址:Python实现A股股市情感分析情绪与股市情 ...
python英文文本情感分析_舆情信息浩如烟海？看看如何用Python进行英文文本的情感分析...
市场每天都在生成海量的舆情信息,这些信息可以帮助我们识别市场情绪的转变.如果只是人工地去跟踪大量的舆论和研报显然缺乏效率.我们可以试试让机器来完成这个工作. 数据科学在数值领域中很常见,但这个不断壮大 ...
python实现文本情感分析_用python实现简单的文本情感分析
很久没在公众号发布新内容,在这段时间内没想到有这么多python爱好者关注了我,港真的,心里很兴奋激动. 今天给大家带来我刚刚实现了的简单多文本情感分析代码,代码环境python3.5 原理比如这么 ...
python和苹果_苹果手机评论情感分析(附python源码和评论数据)
原标题:苹果手机评论情感分析(附python源码和评论数据) 首先抓取网页上的数据,每一页十条评论,生成为一个txt文件. 数据链接回复公众号 datadw 关键字"苹果"获取. ...
python实现文本情感分析_【转】用python实现简单的文本情感分析
importjiebaimportnumpy as np#打开词典文件,返回列表 def open_dict(Dict='hahah',path = r'/Users/zhangzhenghai/Do ...
Python使用阿里API进行情感分析
目录 1.作者介绍 2.原理介绍 2.1自然语言处理情感分析介绍 2.2 API介绍 3.实现过程 4.实验代码及结果 4.1实验代码 4.2实验结果 1.作者介绍魏永健,男,西安工程大学电子信息学 ...
基于Python的对网络评论情感分析：主题与情感词抽取
资源下载地址:https://download.csdn.net/download/sheziqiong/85661888 问题描述针对评论网站上的用户评论进行细粒度的情感分析,区别于传统的粗粒度的 ...
Python实现的互联网新闻情感分析
互联网新闻情感分析一.任务描述 1.1 赛题背景随着各种社交平台的兴起,网络上用户的生成内容越来越多,产生大量的文本信息,如新闻.微博.博客等,面对如此庞大且富有情绪表达的文本信息,完全可以考虑通 ...

python 去重_上来就情感分析？我还是先用python去去重吧！

1、原理说明

2、“单字词”句内去重

3、“双字词”句内去重

4、“三字词”句内去重

5、将上述情况，封装成函数

python 去重_上来就情感分析？我还是先用python去去重吧！相关推荐

最新文章

热门文章