自然语言处理：wordcloud+snownlp《西虹市首富》影评情感分析

前言

最近看了沈腾主演的电影《西虹市首富》,心想怎么没有十个亿砸我头上，我保证比王多鱼还败家，但是细细一想，要是真的砸脑袋上，估计就随给王多鱼他二爷去了。
闲话少说，言归正传，电影上映一段时间，王多鱼花光的十个亿早就又赚回来了，不过这个不是咱们关注的重点，今天咱们就来看看用户对这部电影的评价，并且借助机器学习来简单分析下，看看这里有什么好玩的东西。

分析工具：

分析之前先介绍下数据来源和工具：
数据来源：豆瓣影评（471条《西虹市首富》评论数据）
训练数据：好评数据（豆瓣四星以上评论28000+），差评数据（豆瓣两星以下数据13000+），训练数据不多，三星的评论数据暂时没用，为了爬取这些数据可费了不少事（水平有限），账号和IP被豆瓣封禁多次，不过可以理解，尊重人家的劳动成果。
语言：python
分词工具：jieba分词
词云：wordcloud
情感分析：snownlp

正文

先看下目前豆瓣上对这部电影的评价：

整体评分不怎么高，看看实际的评论内容，确实是有不少批评。
要想看看观众的评论里都有什么内容，这里用wordcloud制作了一个词语图（这里只采用了词频为2以上的词语并且去掉了单个字，后面会贴出代码），在这里可以看到一些关键点：

最明显的词就是麻花和喜剧了，毕竟是开心麻花团队的喜剧作品，其中有一个词也比较明显，夏洛特，看来观众喜欢把《首富》和《夏洛特》放在一起对比，后者可是沈腾的代表作，多数用户也认为认为《夏洛特》更好看。

观众虽然对该电影给出了星级评价，但是评价里的感情色彩是怎样的，下面咱就看看通过情感分析你能看到什么。
先看看观众的评分情况：
5星：10.8%
4星：32.0%
3星：41.3%
2星：11.9%
1星：3.9%
在进行情感分析时，训练数据采用的是豆瓣影评数据，其中好评数据（豆瓣四星以上评论）28000+条，差评数据（豆瓣两星以下数据）13000+条，三星的评论数据暂时没用，所以对结果还是有影响，这里我们就是简单分析，不做过多地细节处理。并且这里我们只把评论分为两类：好评、差评。
来看看情感分析的看结果：

（注：数值越接近0表明情感上评价越低，越接近1情感上评价越高）
好评：207条（43.9%）
差评：264条（56.1%）
从数据分布图中看，竟然有一百多观众对这部电影是如此的不满，
看来观众给出的星级评分还是有所保守，也并那么可靠。多数观众在情感上表现的十分不满，毕竟语言是真实的。
对这部电影来说，观众言辞犀利的批评也许是件好事，帮助国产电影更进一步，而不是只为圈钱而生。

这部电影影评简单分析完了，分析的内容也许不准确，但是比单看评分有趣多了。下面就把代码一起分享出来，代码分为两部分，一部分是爬虫代码，一部分是制作图云和情感分析，代码比较简单，也有注释，就不在详解了。训练数据如有需要在评论区留下邮箱，看到定会分享。

以上内容属平时练习所做，记录学习过程，方法简单，有很多不足，欢迎大佬指正，以后分享出更有水平的文章。

爬虫代码

爬虫代码根据自己需求写的，若有需要自行修改

# -*-coding: utf-8 -*-
'''
Created on 2018-8-9@author: xubaifu
'''
from urllib import request
from bs4 import BeautifulSoup            #Beautiful Soup是一个可以从HTML或XML文件中提取结构化数据的Python库
from sqlalchemy.sql.expression import except_import requests
import re
import random
import time
import unicodedata
import emoji
import sys#使用session来保存登陆信息
s = requests.session()
#获取动态ip，防止ip被封
def get_ip_list(url, headers):web_data = requests.get(url, headers=headers)soup = BeautifulSoup(web_data.text, 'lxml')ips = soup.find_all('tr')ip_list = []for i in range(1, len(ips)):ip_info = ips[i]tds = ip_info.find_all('td')ip_list.append(tds[1].text + ':' + tds[2].text)return ip_list
#随机从动态ip链表中选择一条ip
def get_random_ip(ip_list):proxy_list = []for ip in ip_list:proxy_list.append('http://' + ip)proxy_ip = random.choice(proxy_list)proxies = {'http': proxy_ip}print(proxies)return proxies
#实现模拟登陆
def Login(headers,loginUrl,formData):r = s.post(loginUrl, data=formData, headers=headers)print( r.url)print( formData["redir"])if r.url == formData["redir"]:print( "登陆成功")else:print( "第一次登陆失败")page = r.textsoup = BeautifulSoup(page, "html.parser")captchaAddr = soup.find('img', id='captcha_image')['src']print( captchaAddr)reCaptchaID = r'<input type="hidden" name="captcha-id" value="(.*?)"/'captchaID = re.findall(reCaptchaID, page)#         captcha = raw_input('输入验证码：')captcha = input('输入验证码：')formData['captcha-solution'] = captchaformData['captcha-id'] = captchaIDr = s.post(loginUrl, data=formData, headers=headers)print (r.status_code)return r.cookies
#获取评论内容和下一页链接
def get_data(html):soup = BeautifulSoup(html,"lxml")comment_list = soup.select('.comment > p')next_page = soup.select('.next')[0].get('href')return comment_list,next_pageif __name__ =="__main__":absolute = 'https://movie.douban.com/subject/27605698/comments'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36'}loginUrl = 'https://www.douban.com/accounts/login?source=movie'formData = {"redir":"https://movie.douban.com/subject/27605698/comments?start=0&limit=20&sort=new_score&status=P","form_email":"**********","form_password":"**********","login":u'登录'}#获取动态ipurl = 'http://www.xicidaili.com/nn/'cookies = Login(headers,loginUrl,formData)ip_list = get_ip_list(url, headers=headers)proxies = get_random_ip(ip_list)current_page = absolutenext_page = ""comment_list = []temp_list = []num = 0with open('movie.txt','r', encoding='UTF-8') as fileId:for movie_id in fileId:movie_id = movie_id.strip()#根据豆瓣网的地址链接规则生成start值page_num = [20 * (x - 1) for x in range(1,11)]#默认值抓取前二十页评论（质量较高）for start in page_num:request_url = 'https://movie.douban.com/subject/%s/comments?start=%d&limit=20&sort=new_score&status=P&percent_type=h' %(movie_id, start)print(request_url)html = s.get(request_url, cookies=cookies, headers=headers, proxies=proxies).content#temp_list,next_page = get_data(html)soup = BeautifulSoup(html,"lxml")comment_list = soup.select('.comment > p')#next_page = soup.select('.next')[0].get('href')comment_list = comment_list + temp_listtime.sleep(float(random.randint(1, 10)) / 10)num = num + 1#每20次更新一次ipif num % 20 == 0:proxies = get_random_ip(ip_list)with open("C:\\Users\\xubaifu\\Desktop\\h.txt", 'a')as f:for node in comment_list:comment = node.get_text().strip().replace("\n", "")#             中文标点转英文标点#             comment = unicodedata.normalize('NFKC', comment)#             去除emoji表情emoji.demojize(comment)try:f.write(comment + "\n")except:print("写入文件出错")f.close()fileId.close()

词云与情感分析

词云和情感分析皆使用的第三方库，原理需要自己理解。由于snownlp 在做情感分析的时候使用的是网购商品评论数据，我这里使用的豆瓣影评数据，需要自己训练。

# -*-coding: utf-8 -*-
'''
Created on 2018-8-9@author: xubaifu
'''
import codecs
import jieba.posseg as psegfrom scipy.misc import imread
from wordcloud import ImageColorGenerator
# from os import pathimport matplotlib.pyplot as plt
from wordcloud import WordCloudimport numpy as np
from snownlp import SnowNLP
from snownlp import sentiment
# 构建停用词表
stop_words = 'stopWords.txt'
stopwords = codecs.open(stop_words,'r',encoding='utf8').readlines()
stopwords = [ w.strip() for w in stopwords ]
# 结巴分词后的停用词性 [标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词]
stop_flag = ['x', 'c', 'u','d', 'p', 't', 'uj', 'm', 'f', 'r', 'ul']class File_Review:#自定义停用词def load_stopwords(self, path='stopwords.txt'):  #文件必须utf-8编码.encode('utf-8')#加载停用词 with open(path,'r', encoding='UTF-8') as f:  stopwords = filter(lambda x: x, map(lambda x: x.strip(), f.readlines()))  #         stopwords.extend([' ', '\t', '\n'])  return frozenset(stopwords)  # 对一篇文章分词、去停用词def cut_words(self, filename):result = []with open(filename, 'r', encoding='UTF-8') as f:text = f.read()words = pseg.cut(text)for word, flag in words:if flag not in stop_flag and word not in stopwords and len(word) > 1:result.append(word)return result #返回数组
#         return ' '.join(result) #返回字符串#统计词频def all_list(self, arr):result = {}for i in set(arr):result[i] = arr.count(i)return result# 构建词云图def draw_wordcloud(self, txt):#读入背景图片#bj_pic=imread('C:\\Users\\xubaifu\\Desktop\\dcd0005479.jpg')wc1 = WordCloud(#mask=bj_pic,background_color="white",width=1000,height=860,font_path="C:\\Windows\\Fonts\\STFANGSO.ttf",#不加这一句显示口字形乱码margin=2)
#         wc2 = wc1.generate(txt)         #我们观察到generate()接受一个Unicode的对象，所以之前要把文本处理成unicode类型wc2 = wc1.fit_words(txt) # 根据词频生成词云#image_colors=ImageColorGenerator(bj_pic)plt.imshow(wc2)plt.axis("off")plt.show()# 情感分析   def sentiments_analyze(self):f = open('articles.txt', 'r', encoding='UTF-8')connects = f.readlines()sentimentslist = []#使用SnowNLP的sentiment模块训练数据#sentiment.train('l.txt', 'g.txt')#保存模型#sentiment.save('sentiment.marshal')#加载模型sentiment.load('sentiment.marshal')sum = 0for i in connects:s = SnowNLP(i)# print s.sentimentssentimentslist.append(s.sentiments)if  s.sentiments > 0.5:sum+= 1print(sum)print(len(sentimentslist))plt.hist(sentimentslist, bins=np.arange(0, 1, 0.01), facecolor='g')plt.xlabel('Sentiments Probability')plt.ylabel('Quantity')plt.title('Analysis of Sentiments')plt.show()if __name__ == '__main__':file_review = File_Review()result = file_review.cut_words('articles.txt')# 统计词频word_count = file_review.all_list(result)# 筛选出词频大于2的数据word_count={k:v for k,v in word_count.items()  if v>=2}# 制作词云file_review.draw_wordcloud(word_count)#情感分析file_review.sentiments_analyze()