url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=5225346&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1'.format(page)

import requests
import json
import xlwt
f = xlwt.Workbook()
sheetwrite = f.add_sheet('comment')
sheetwrite.write(0,0,'comment')
k = 1
for page in range(0,50+1):header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}url1 = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=5225346&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1'.format(page)# url2 = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=5225346&score=1&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1'.format(#     page)response = requests.get(url1, headers=header)data = response.textjd = json.loads(data.lstrip('fetchJSON_comment98vv12345(').rstrip(');'))data_list = jd['comments']for data in data_list:content = data['content']sheetwrite.write(k,0,content)k +=1
f.save(r'C:UsersAdministratorDesktoppython项目爬虫京东评论com_all.xls')

import pandas as pd
import jieba
postive = pd.read_excel(r'C:UsersAdministratorDesktoppython项目爬虫京东评论com_all.xls',encoding = 'utf-8')
negtive = pd.read_excel(r'C:UsersAdministratorDesktoppython项目爬虫京东评论com_neg.xls',encoding = 'utf-8')
# 文本去重(文本去重主要是一些系统自动默认好评的那些评论 )
positive = postive ['comment'].drop_duplicates()
positive = positive['comment']
negtive = negtive ['comment'].drop_duplicates()
negtive = negtive['comment']# 文本分词
mycut = lambda s:' '.join(jieba.cut(s)) # 自定义分词函数
po =postive.comment.apply(mycut)
Out[119]:
0    19 年 的 愿望 终于 实现 了 ， 买 一台 MAC 电脑 ， 用 起来 体验 真的 太...
1    运行 速度 ： 感觉 比 windows   快 ， 蛮 顺畅 n 屏幕 效果 ： 屏幕 ...
2    双 十二 买 的 ， 没什么 太 大 优惠 ， 观望 了 很 久 最后 决定 在 东 东家 ...ne =negtive.comment.apply(mycut)#停用词过滤（停用词文本可以自己写，一行一个或者用别人整理好的，我这是用别人的）
with open(r'C:UsersAdministratorDesktoppython项目电商评论情感分析stoplist.txt',encoding = 'utf-8') as f:stop  = f.read()
stop =[' ',''] +list(stop[0:])  # 因为读进来的数据缺少空格，我们自己添加进去po['1'] = po[0:].apply(lambda  s: s.split(' ')) # 将分词后的文本以空格切割
Out[123]:
0      [19, 年, 的, 愿望, 终于, 实现, 了, ，, 买, 一台, MAC, 电脑, ，...
1      [运行, 速度, ：, 感觉, 比, windows, , , 快, ，, 蛮, 顺畅, ...
2      [双, 十二, 买, 的, ，, 没什么, 太, 大, 优惠, ，, 观望, 了, 很, 久...
3      [做工, 太, 精美, 了, , , 用料, 考究, , , 超薄, , , 设计, , ,...po['2'] = po['1'].apply(lambda x:[i for i in x if i not in stop])# 过滤停用词Out[124]:
0      [19, 愿望, 终于, 实现, 一台, MAC, 电脑, 起来, 体验, 真的, 太棒了,...
1      [运行, 速度, 感觉, windows, 顺畅, 屏幕, 效果, 屏幕, 色彩, 真的, ...
2      [十二, 没什么, 太, 优惠, 观望, 最后, 决定, 东, 东家, 别的, 为了, 多花...
3      [做工, 太, 精美, 用料, 考究, 超薄, 设计, 运行, 速度, 超快, 没有, 别的...
4      [运行, 速度, 运行, 速度, 很快, 没有, 卡涩, 问题, 屏幕, 效果, 色彩, 高...# 在这里我们也可以用到之前的词云图分析
# post = []
# for word in po:
#     if len(word)>1 and word not in stop:
#         post.append(word)
# print(post)
# wc = wordcloud.WordCloud(width=1000, font_path='simfang.ttf',height=800)#设定词云画的大小字体，一定要设定字体，否则中文显示不出来
# wc.generate(' '.join(post))
# wc.to_file(r'C:UsersAdministratorDesktoppython项目爬虫京东评论yun.png')ne['1'] = ne[0:].apply(lambda  s: s.split(' '))
ne['2'] = ne['1'].apply(lambda x:[i for i in x if i not in stop])

from gensim import corpora,models
# 负面主题分析
neg_dict = corpora.Dictionary(ne['2'])
neg_corpus = [neg_dict.doc2bow(i) for i in ne['2']]
neg_lda = models.LdaModel(neg_corpus,num_topics = 3,id2word = neg_dict)# 正面主题分析
pos_dict = corpora.Dictionary(po['2'])
pos_corpus = [pos_dict.doc2bow(i) for i in po['2']]
pos_lda = models.LdaModel(pos_corpus,num_topics = 3,id2word =pos_dict)
# 展示主题
pos_theme = pos_lda.show_topics()
Out[137]:
[(0,'0.020*"速度" + 0.018*"非常" + 0.018*"运行" + 0.016*"外观" + 0.016*"苹果" + 0.016*"屏幕" + 0.015*"轻薄" + 0.012*"外形" + 0.011*"散热" + 0.011*"效果"'),(1,'0.016*"非常" + 0.015*"喜欢" + 0.012*"速度" + 0.012*"轻薄" + 0.010*"电脑" + 0.010*"系统" + 0.010*"屏幕" + 0.009*"运行" + 0.009*"外观" + 0.007*"不错"'),(2,'0.015*"非常" + 0.014*"系统" + 0.012*"苹果" + 0.012*"速度" + 0.011*"电脑" + 0.010*"外观" + 0.010*"效果" + 0.010*"不错" + 0.009*"轻薄" + 0.007*"运行"')]# 取出高频词
import re
pattern = re.compile(r'[u4e00-u9fa5]+')
pattern.findall(pos_theme[0][1])
Out[138]: ['速度', '非常', '运行', '外观', '苹果', '屏幕', '轻薄', '外形', '散热', '效果']pos_key_words =[]
for i in range(3):pos_key_words.append(pattern.findall(pos_theme[i][1]))pos_key_words = pd.DataFrame(data=pos_key_words,index=['主题1','主题2','主题3'])Out[141]: 0   1   2   3   4   5   6   7   8   9
主题1  速度  非常  运行  外观  苹果  屏幕  轻薄  外形  散热  效果
主题2  非常  喜欢  速度  轻薄  电脑  系统  屏幕  运行  外观  不错
主题3  非常  系统  苹果  速度  电脑  外观  效果  不错  轻薄  运行import pyLDAvis # 可视化
import pyLDAvis.gensim
vis = pyLDAvis.gensim.prepare(pos_lda,pos_corpus,pos_dict)# 在浏览器中心打开一个界面
pyLDAvis.show(vis)

[
(0,   '0.020*"速度" + 0.018*"非常" + 0.018*"运行" + 0.016*"外观" + 0.016*"苹果" + 0.016*"屏幕" + 0.015*"轻薄" + 0.012*"外形" + 0.011*"散热" + 0.011*"效果"'),
(1,   '0.016*"非常" + 0.015*"喜欢" + 0.012*"速度" + 0.012*"轻薄" + 0.010*"电脑" + 0.010*"系统" + 0.010*"屏幕" + 0.009*"运行" + 0.009*"外观" + 0.007*"不错"'),
(2,   '0.015*"非常" + 0.014*"系统" + 0.012*"苹果" + 0.012*"速度" + 0.011*"电脑" + 0.010*"外观" + 0.010*"效果" + 0.010*"不错" + 0.009*"轻薄" + 0.007*"运行"')][(0,'0.017*"没有" + 0.013*"电脑" + 0.011*"送" + 0.011*"客服" + 0.007*"系统" + 0.006*"购买" + 0.006*"问题" + 0.006*"不好" + 0.006*"赠品" + 0.006*"京东"'),(1,'0.015*"京东" + 0.011*"电脑" + 0.010*"还是" + 0.008*"刚买" + 0.008*"问题" + 0.008*"降价" + 0.007*"不了" + 0.007*"hellip" + 0.006*"就是" + 0.006*"东西"'),(2,'0.018*"降价" + 0.015*"京东" + 0.011*"没有" + 0.010*"客服" + 0.009*"问题" + 0.008*"退货" + 0.007*"就是" + 0.007*"东西" + 0.006*"电脑" + 0.006*"苹果"')]