用python画苹果_Python爬取京东Iphone X用户评论并绘制词云
目标爬取京东商城上iPhone X用户评论数据；
使用jieba对评论数据进行分词处理；
使用wordcloud绘制词云图。
目前京东商城只会展示商品的前100页评论，所以我们能爬取到的评论只有1000条。
不过如果区分下好/差/中评分别爬取的话，理论上应该能保存3000条评论。
爬虫部分打开京东iphone X商品页面，进入控制台找到我们想要的用户评论，评论的接口地址也就找到了。
image.png
然后我们会发现这个接口地址是可以直接访问的，并不需要post参数，直接get就行，后面发现，连header都不需要设置，这样问题就很简单了。
image.png
分析接口地址我们可以看到有几个参数：
productid：商品编号
score：好差评（0表示全部评论）
sortType：推荐排序/时间排序
page：页码
pagesize：每页显示评论数
还有两个没搞明白，不过不重要了，我们需要的就是写个循环传入page参数就行了。
接口地址返回的数据不是标准的json格式，我们需要手动处理下。
1.去掉前面的‘fetchJSON_comment98vv56725(’；
2.去掉末尾的‘);’；
3.json包加载数据处理就行了。
循环获取每个页面的评论数据，保存到本地。
绘制词云
绘制词云主要用到两个包，一个是jieba，用于文本分词的，一个是wordcloud，用于绘制最后的词云。参数比较多，大家可以直接访问jieba+wordcloud去查看。背景图片
最后效果如下
词云
代码部分# -*- coding:utf-8 -*-import requestsimport jsonimport jiebafrom scipy.misc import imread
from wordcloud import WordCloud, STOPWORDS, ImageColorGeneratorimport matplotlib.pyplot as pltdef jd_spider(page):
url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56693&productId=5089253&score=0&sortType=5&page=%d&pageSize=10&isShadowSku=0&fold=1'%(page) #用于存储单页评论，每页评论保存一次
comment = ''
#无需设置header，直接访问就行了
response = requests.get(url)
data = unicode(response.content,'GBK').encode('utf-8') '''
接口地址返回的不是标准json数据，需要进行处理
去掉头部的‘fetchJSON_comment98vv56693(’和‘);’两部分
然后再用json包读取数据就可以了
'''
data = data.split('(',1)[1]#根据（进行切片一次处理，取第二部分
data = data[0:len(data)-2]#然后去掉后面的）和；
data_json = json.loads(str(data))['comments'] #循环读取每条评论，通过换行符连接起来
for i in list(range(len(data_json))):
comment = comment+data_json[i]['content'].encode('utf-8')+'\n'
print '****Page %d has been saved****'%(page) return comment#将读取的数据保存到本地txt文件def save_comments(comments):
with open('comments.txt','a') as f:
f.write(comments)'''
由于京东限制了，只展示前100页评论
循环99次就好了，后面返回的都是空页面
'''for page in list(range(99)):
page = page+1
comments = jd_spider(page)
save_comments(comments)print '****jd_spider@Awesome_Tang****''''
绘制词云部分
'''back_color = imread('apple.png') # 解析该图片wc = WordCloud(background_color='white', # 背景颜色
max_words=1000, # 最大词数
mask=back_color, # 以该参数值作图绘制词云，这个参数不为空时，width和height会被忽略
max_font_size=100, # 显示字体的最大值
font_path="/Users/tangwenpan/Downloads/simhei.ttf", # 解决显示口字型乱码问题
random_state=42, # 为每个词返回一个PIL颜色
# width=1000, # 图片的宽
# height=860 #图片的长
)# 打开保存的评论数据text = open('comments.txt').read()def word_cloud(texts):
words_list = []
word_generator = jieba.cut(texts, cut_all=False) # 返回的是一个迭代器
for word in word_generator: if len(word) > 1: #去掉单字
words_list.append(word) return ' '.join(words_list)
text = word_cloud(text)
wc.generate(text)# 基于彩色图像生成相应彩色image_colors = ImageColorGenerator(back_color)# 显示图片plt.imshow(wc)# 关闭坐标轴plt.axis('off')# 绘制词云plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')# 保存图片wc.to_file('comment.png')print 'comment.png has bee saved!'
一直觉得词云是个蛮好玩的东西，想自己也做下玩玩，所以这次也就是想着先做点东西出来，代码部分可能就比较粗糙了，后期有时间再改改。
作者：Awesome_Tang
链接：https://www.jianshu.com/p/9378d550e3cb
用python画苹果_Python爬取京东Iphone X用户评论并绘制词云相关推荐
- python爬虫爬取京东商品评价_python爬取京东商品信息及评论
''' 爬取京东商品信息: 功能: 通过chromeDrive进行模拟访问需要爬取的京东商品详情页(https://item.jd.com/100003196609.html)并且程序支持多个页面爬取 ...
- 爬取京东华为mate30Pro5G的评论数据并制作云词
爬取京东评论数据采用selenium库 爬取代码如下: # -*- coding: utf-8 -*-from selenium import webdriver import json import ...
- python爬取豆瓣电影并分析_Python爬取豆瓣电影的短评数据并进行词云分析处理
前言 对于爬虫很不陌生,而爬虫最为经典的案例就是爬取豆瓣上面的电影数据了,今天小编就介绍一下如果爬取豆瓣上面电影影评,以<我不是药神>为例. 基本环境配置 版本:Python3.6 相关模 ...
- Python爬取最近上映的电影评论并生成词云——误杀
前期准备 准备一张白底图片作为词云底板 说明:本代码爬取的是最近上映的电影,不同的日期运行此段代码可能会得到不同的结果 实现效果 代码实现 import warnings warnings.filte ...
- python爬取携程景区用户评论
python爬取携程景区用户评论(爬虫时遇到翻页但url不变问题时的解决办法) python爬取携程景区用户评论 Ajax页面加载的页面和普通页面的不同 解决办法 效果 python爬取携程景区用户评 ...
- 爬取京东商品规格和评论，13行代码写成的模板，想爬哪个商品评论就爬哪个
先看运行效果 上面图片是爬取京东阿玛尼口红的评论和商品规格 下面是13行代码,没错13行就可以了,想爬哪个就输入哪个商品的编号,商品编号在下面图片中找,我在爬取时候发现商品编号在url中有显示,比对之 ...
- Python实现通过ASIN爬取亚马逊产品评论
Python实现通过ASIN爬取亚马逊产品评论 一.最近一直在研究爬取亚马逊评论相关的信息,亚马逊的反爬机制还是比较严格的,时不时就封cookie啊封ip啊啥的.而且他们的网页排版相对没有那么规则,所 ...
- python京东商品_Python爬取京东的商品分类与链接
前言 本文主要的知识点是使用Python的BeautifulSoup进行多层的遍历. 如图所示.只是一个简单的哈,不是爬取里面的隐藏的东西. 示例代码 from bs4 import Beautifu ...
- python爬取京东手机参数_python爬取京东手机价格
这里我爬取京东手机价格作为事例 timg.jpg 最近刚出了iPhone X,1W元的价格有点实(guo)惠(fen),刘海也很"漂(chou)亮(lou),所以我还是看看国产手机吧,正好闲 ...
最新文章
- SPOJ 3899. Finding Fractions 连分数
- 《C程序设计语言》读书笔记----习题1-21
- Java NIO学习系列六：Java中的IO模型
- 寒假每日一题（入门组）【week5 完结】
- 康托展开与八数码问题
- windows写文件到ubuntu之samba
- java怎样下载maven资源库_下载Maven资源库文件
- react中对于key值的理解
- 你所不知道的Quartz特性
- TCP/IP 域名系统DNS
- cdr怎么转plt_win10系统下cdr格式文本转plt格式文本怎么做
- 超声波测距灯（Arduino、米思齐Mixly）
- 矩阵的初等变换与线性方程组
- android app icon素材,史上最全的APP图标模板素材以及设计格式最全的
- iPhone中BigBoss源添加以及SBSettings安装。
- P5.js码绘---阿珊自画像
- SpringCloud-Gateway Feign
- 中华瑰宝之山西人的面食
- mybatisplus sql 改写2
- 输入一行英文句子，统计其中的单词个数。例如，输入”How are you.”,则输出3。