python情感分析实例

运行结果，代码及所用的图片，以及运行的的数据放到我的资源里面

数据爬取

import requests
from lxml import etree
import timeif __name__ == "__main__":fp = open('./comment.csv',mode = 'w',encoding='utf-8')fp .write('author\tp\tvote\n')url = 'https://movie.douban.com/subject/35051512/comments?start=%d&limit=20&status=P&sort=new_score'headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',# 'Accept-Encoding':'gzip, deflate, br','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8','Cache-Control': 'no-cache','Connection': 'keep-alive',#'Cookie': '', #用自己浏览器上面的cookie，注释这条也可以运行'Host': 'movie.douban.com','Pragma': 'no-cache','Referer': 'https://movie.douban.com/subject/35051512/?from=playing_poster','Sec-Fetch-Dest': 'document','Sec-Fetch-Mode': 'navigate','Sec-Fetch-Site': 'same-origin','Sec-Fetch-User': '?1','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',}for i in range(26):if i == 25:url_climb = url % (490)else:url_climb = url % (i * 20)response = requests.get(url=url_climb, headers=headers)response.encoding = 'utf-8'text = response.texthtml = etree.HTML(text)comments = html.xpath('//div[@id="comments"]/div[@class="comment-item "]')for comment in comments:# 作者author = comment.xpath('./div[@class="avatar"]/a/@title')[0]p = comment.xpath('.//span[@class="short"]/text()')[0]# 点赞vote = comment.xpath('.//span[@class="votes vote-count"]/text()')[0].strip()fp.write('%s\t%s\t%s\n'%(author,p,vote))print('第%d页数据保存成功'%(i+1))time.sleep(1)fp.close()

情感分析

import pandas as pd
from snownlp import SnowNLP#该方法的作用将评论，进行情感分析
def convert(comment):snow = SnowNLP(str(comment))sentiments = snow.sentiments #0(消极)————1(积极)return sentimentsif __name__ == "__main__":data = pd.read_csv('./comment1.csv','\t')#获取评论数据，进行情感分析，DataFtame新增加一列#属性名：情感分析data['情感评分'] = data.p.apply(convert)data.sort_values(by = '情感评分',ascending=False,inplace=True)data.to_csv('./comment_snownlp.csv',sep = '\t',index = False)

分片提取，jieba分析词语重要性，绘制词语柱状图，和词云

import pandas as pd
import jieba
from jieba import analyse
import matplotlib.pyplot as plt
import numpy as np
import wordcloud
from PIL import Imageif __name__ == "__main__":data = pd.read_csv('./comment1.csv',sep='\t')#获取评论信息comments = ';'.join([str(c) for c in data['p'].tolist()])#使用jieba库对文本内容进行分词gen = jieba.cut(comments)words = ' '.join(gen)#对分好词，进行jieba分析tags = analyse.extract_tags(words,topK=500,withWeight=True)word_result = pd.DataFrame(tags,columns=['词语','重要性'])word_result.sort_values(by = '重要性',ascending=False,inplace=True)#从大到小排序#可视化，选取20个plt.barh(y = np.arange(0,20),width =word_result[:20]['重要性'][::-1])plt.ylabel('Importance')plt.yticks(np.arange(0,20),labels=word_result[:20]['词语'][::-1],fontproperties='KaiTi')plt.show()#词云操作person = np.array(Image.open('./111.jpg'))#将tags，jieba分词提取出数据，dict词典words = dict(tags)cloud=wordcloud.WordCloud(width=1200,height=968,font_path='./simkai.ttf',background_color='white',mask=person,max_words=500,max_font_size=150,)word_cloud = cloud.generate_from_frequencies(words)plt.figure(figsize=(12,12))plt.imshow(word_cloud)plt.show()

python情感分析实例相关推荐

python 情感分析实例_情感分析实例
以下的样本代码用Pyhton写成,主要使用了scrapy, sklearn两个库. 所以,什么是情感分析(Sentiment Analysis)? 情感分析又叫意见挖掘(Opinion Mining) ...
python 情感分析实例_基于Python的情感分析案例
**情感分析 **又称为倾向性分析和意见挖掘它是对带有情感色彩的主观性文本进行分析.处理.归纳和推理的过程其中情感分析还可以细分为情感极性倾向分析情感程度分析主客观分析等. 情感极性分析的 ...
基于python的情感分析案例-基于情感词典的python情感分析
Python Python开发 Python语言基于情感词典的python情感分析近期老师给我们安排了一个大作业,要求根据情感词典对微博语料进行情感分析.于是在网上狂找资料,看相关书籍,终于搞出了 ...
【情感打分+情感判定+词云图】python情感分析李子柒频道视频热门英文评论
目录一.事件背景二.python代码讲解三.同步讲解视频四.获取python源码文件一.事件背景今天是2021.12.2日,距离李子柒断更已经4个多月了,这是我在YouTube李子柒油管频 ...
python的中文文本挖掘库snownlp进行购物评论文本情感分析实例
昨晚上发现了snownlp这个库,很开心.先说说我开心的原因.我本科毕业设计做的是文本挖掘,用R语言做的,发现R语言对文本处理特别不友好,没有很多强大的库,特别是针对中文文本的,加上那时候还没有学机器 ...
基于情感词典的python情感分析！它居然比我还懂我女友！
近期老师给我们安排了一个大作业,要求根据情感词典对微博语料进行情感分析.于是在网上狂找资料,看相关书籍,终于搞出了这个任务.现在做做笔记,总结一下本次的任务,同时也给遇到有同样需求的人,提供一点帮助. ...
Python情感分析：鹿晗的粉丝们究竟原谅他了吗？
2019独角兽企业重金招聘Python工程师标准>>> 国庆长假的最后一天,鹿晗在微博上公开宣布和关晓彤的恋情.消息来得太突然,不仅粉丝圈里炸了,顺带连微博服务器也给炸了.在此心疼新 ...
python情感分析预测模型_python snownlp情感分析简易demo
SnowNLP是国人开发的python类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和T ...
python情感分析中文_Python有趣|中文文本情感分析
前言前文给大家说了python机器学习的路径,这光说不练假把式,这次,罗罗攀就带大家完成一个中文文本情感分析的机器学习项目,今天的流程如下: 数据情况和处理数据情况这里的数据为大众点评上的评论数 ...

python情感分析实例

运行结果，代码及所用的图片，以及运行的的数据放到我的资源里面

数据爬取

情感分析

分片提取，jieba分析词语重要性，绘制词语柱状图，和词云

python情感分析实例相关推荐

最新文章

热门文章