python爬京东 反爬_京东的验证码和反爬都很烦人吧?那又怎样,照样轻松爬取京东数据...
目标
爬取京东商城上iphone x用户评论数据;
使用jieba对评论数据进行分词处理;
使用wordcloud绘制词云图。
进群:548377875即可获取数十套pdf哦!
然后我们会发现这个接口地址是可以直接访问的,并不需要post参数,直接get就行,后面发现,连header都不需要设置,这样问题就很简单了。
接口地址返回的数据不是标准的json格式,我们需要手动处理下。
1.去掉前面的‘fetchjson_comment98vv56725(’;
2.去掉末尾的‘);’;
3.json包加载数据处理就行了。
循环获取每个页面的评论数据,保存到本地。
绘制词云
绘制词云主要用到两个包,一个是jieba,用于文本分词的,一个是wordcloud,用于绘制最后的词云。参数比较多,大家可以直接访问jieba+wordcloud去查看。
背景图片
最后效果如下
词云
代码部分
# -*- coding:utf-8 -*-
import requests
import json
import jieba
from scipy.misc import imread
from wordcloud import wordcloud, stopwords, imagecolorgenerator
import matplotlib.pyplot as plt
def jd_spider(page):
url = 'https://sclub.jd.com/comment/productpagecomments.action?callback=fetchjson_comment98vv56693&productid=5089253&score=0&sorttype=5&page=%d&pagesize=10&isshadowsku=0&fold=1'%(page)
#用于存储单页评论,每页评论保存一次
comment = ''
#无需设置header,直接访问就行了
response = requests.get(url)
data = unicode(response.content,'gbk').encode('utf-8')
'''
接口地址返回的不是标准json数据,需要进行处理
去掉头部的‘fetchjson_comment98vv56693(’和‘);’两部分
然后再用json包读取数据就可以了
'''
data = data.split('(',1)[1]#根据(进行切片一次处理,取第二部分
data = data[0:len(data)-2]#然后去掉后面的)和;
data_json = json.loads(str(data))['comments']
#循环读取每条评论,通过换行符连接起来
for i in list(range(len(data_json))):
comment = comment+data_json[i]['content'].encode('utf-8')+' '
print '****page %d has been saved****'%(page)
return comment
#将读取的数据保存到本地txt文件
def save_comments(comments):
with open('comments.txt','a') as f:
f.write(comments)
'''
由于京东限制了,只展示前100页评论
循环99次就好了,后面返回的都是空页面
'''
for page in list(range(99)):
page = page+1
comments = jd_spider(page)
save_comments(comments)
print '****jd_spider@awesome_tang****'
'''
绘制词云部分
'''
back_color = imread('apple.png') # 解析该图片
wc = wordcloud(background_color='white', # 背景颜色
max_words=1000, # 最大词数
mask=back_color, # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略
max_font_size=100, # 显示字体的最大值
font_path="/users/tangwenpan/downloads/simhei.ttf", # 解决显示口字型乱码问题
random_state=42, # 为每个词返回一个pil颜色
# width=1000, # 图片的宽
# height=860 #图片的长
)
# 打开保存的评论数据
text = open('comments.txt').read()
def word_cloud(texts):
words_list = []
word_generator = jieba.cut(texts, cut_all=false) # 返回的是一个迭代器
for word in word_generator:
if len(word) > 1: #去掉单字
words_list.append(word)
return ' '.join(words_list)
text = word_cloud(text)
wc.generate(text)
# 基于彩色图像生成相应彩色
image_colors = imagecolorgenerator(back_color)
# 显示图片
plt.imshow(wc)
# 关闭坐标轴
plt.axis('off')
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')
# 保存图片
wc.to_file('comment.png')
print 'comment.png has bee saved!'
一直觉得词云是个蛮好玩的东西,想自己也做下玩玩,所以这次也就是想着先做点东西出来,代码部分可能就比较粗糙了,后期有时间再改改。
如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!
python爬京东 反爬_京东的验证码和反爬都很烦人吧?那又怎样,照样轻松爬取京东数据...相关推荐
- python 反传播_岗位 | 滴滴急招反欺诈数据分析实习生(可转正)!字节跳动+德勤实习生项目热招中...
1 滴滴 企业介绍: 滴滴出行是领先的一站式移动出行和本地生活服务平台,在亚太,拉美和俄罗斯为超过5.5亿用户提供出租车,快车,专车,豪华车,公交,代驾,企业级,共享单车,滴滴平台上,有数千万车主,司 ...
- python刚开始学什么_刚入门的时候,你们都是怎么开始学Python的呢?
首先明确你将来是做什么工作的,需要掌握哪些技能,很多人连这个就不知道就盲目的学,你首先清楚,现在公司需要什么人才,你应该奔着什么目标努力.Python的学习方向有很多,主要还是web. 其次系统的学习 ...
- python建立数据库并搜索_如何建立一个简单的数据库,可供人在网络上进行搜索?...
看题主的需求,应该是一个非常典型的web应用. 以我的经验,大概可以分三块来做.分别是接入,逻辑和存储. 接入就是你说的,"别人在网络上输入一个网址".这里的"网址&qu ...
- sap清账使用反记账_【转】SAP反记账功能祥解
sap的反记账功能类似于通常说的红冲,以红字的方式显示,但是在凭证制作时是不能指定红字的. SAP系统对于总帐凭证的借贷方金额是通过借方使用正数,贷方使用负数的方式在数据库中存储,凭证的每个行项目都会 ...
- python量化自学书籍推荐_量化投资学习推荐的书籍都有哪些?
给大家简单推荐介绍3本书吧这些都是比较实用的,入门还是高手级别的都有. 1. 打开量化投资的黑箱 这本书的作者里什·纳兰(Rishi K. Narang)是华尔街顶级数量金融专家,资深对冲基金经理.& ...
- python拼多多领现金_拼多多天天领现金最后都是1分怎么办?
拼多多天天领现金是真的吗 :拼多多增长趋势可谓非常猛烈,同时借助社交营销,让自己本身也得到最大推广.值得一提的活动是拼多多天天领现金,很多人在质疑这个活动是不是真的,到底要怎么才能领到现金 一.拼多多 ...
- python拼多多领现金_拼多多天天领现金最后都是1分怎么办?领现金活动规则
拼多多平台上有很多活动,拼多多用户可以参与.打开手机拼多多首页,你可以看到有个"现金签到"的活动,点击进去可以领取现金,每天签到可以获得随机现金,可以用来获取无门槛优惠券以及获得1 ...
- 苹果电脑删除软件_软件自动开启很烦人?如何彻底关掉开机自动开启的应用程序...
使用Mac的小伙伴有没有这样的烦恼,电脑一开机,一堆烦人的软件就自动开启了,让人很懊恼,如何才能彻底关掉开机自动开启的应用程序?mac开机启动项怎么设置?开机启动项要怎么禁止?今天就带大家解决这个懊恼 ...
- layui 启用禁用_在不启用Apple Pay的情况下禁用烦人的Apple Pay通知
layui 启用禁用 iPhone/iPad: Not interested in Apple Pay, and tired of seeing notifications about it? You ...
最新文章
- div 下 的img水平居中
- python的质量控制模块_10.11. 质量控制
- DM8168 OpenCV尝试与评估(编译ARM版OpenCV)
- 无法启动baiMicrosoft Office Outlook。无法打开duOutlook窗口
- Geary 0.13.0 发布,GNOME 3 Email 客户端应用
- 介绍“Razor”— ASP.NET的一个新视图引擎
- *【牛客 - 318B】签到题(单调栈,水题)
- 搭建webdriver环境
- AP模块NOTE修改API
- UNICODE与ANSI的区别
- 常见机器学习算法思想简单梳理
- 《linux核心应用命令速查》连载二:lastcomm:显示以前使用过的命令的信息
- iOS 自动化——技术方案、环境配置
- 谁说菜鸟不会数据分析python mobi_利用Python进行数据分析[azw3+epub+mobi][30.34MB]
- 分享一个通过项目管理师证书成功办理北京户口的励志经验
- 有才而性缓,有智而气和
- 多种汉语方言语音落地应用,微软智能语音解锁更多交互场景
- 根据浏览器标识判断浏览器类型
- Linux free命令中的Buffer和Cache
- JetBrains Fleet 初体验