文章目录

前言
一、京东商品信息爬虫
- 1.分析URL
- 2.实例化chrome
- 3.加载完整数据
- 4.实现翻页
- 5.解析数据
二、京东商品评价爬虫
- 1.找到接口
- 2.分析url
- 3.解析数据
- 4.词云

前言

本文内容包含京东商品列表爬虫的详细教程以及商品评价数据的详细教程

提示：以下是本篇文章正文内容，下面案例可供参考

一、京东商品信息爬虫

我们要知道京东商品页的数据有一半是通过动态加载出现的，一页60条数据一半是动态加载，也就是说我们如果单纯的用requests访问url的话只能拿到一半的数据，那另一半的数据拿到有两种方法：1.selenium 2.找到接口。这里以selenium为例。

1.分析URL

如果我们是通过selenium爬取的话，其实只需要循环点击下一页就可以了。下面我们来看一下url的构成

我们来看url，keyword就是商品关键词，我们把它换成中文也是可以的，page是页数，那剩下的一堆东西是没有用的我们可以把他们全部删除

https://search.jd.com/Search?
keyword=%E7%BA%A2%E7%B1%B3K40  ==》查询的关键词  《===》红米K40
&suggest=1.his.0.0
&wq=%E7%BA%A2%E7%B1%B3K40  ==>也是关键词
&page=1  ==》页数
&s=1
&click=0

我们来看一下简化后的url

https://search.jd.com/Search?keyword=红米K40&page=1

url对比，page规律：page等于当前页数×2-1

1：https://search.jd.com/Search?keyword=红米K40&page=1
2：https://search.jd.com/Search?keyword=红米K40&page=3
3：https://search.jd.com/Search?keyword=红米K40&page=5
4：https://search.jd.com/Search?keyword=红米K40&page=7

2.实例化chrome

我们明白了url的构成，首先我们用selenium实例化一个chrome，进而去获取数据了

写一下基本的配置

用input的方法交互式的输入你想采集的关键词，设置禁止图片的加载加快浏览器的速度，不想看到浏览器直接设置为无头浏览器，还有防规避检测（可能已失效）

代码如下（示例）：

   key = input("请输入要采集商品的关键字：")  # 商品的关键字option = ChromeOptions()prefs = {'profile.managed_default_content_settings.images': 2}option.add_experimental_option('prefs', prefs) # 禁止图片加载，加快速度option.add_argument('--headless')option.add_argument('--disable-gpu') # 设置无头浏览器bro=webdriver.Chrome(options=option)bro.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""}) ===》可能已失效

3.加载完整数据

最开始我们已经提到了京东有一般的数据是通过动态加载的那我们要获得这一半的数据就要让他加载出来，用的方法是让浏览器向下滚动一个屏幕

代码如下（示例）：

   bro.maximize_window() # 最大化浏览器url="https://search.jd.com/Search?keyword=%s"%(key)bro.get(url)  #访问urlbro.execute_script('window.scrollTo(0, document.body.scrollHeight)') # 向下滑动一屏

4.实现翻页

方式一：对page循环访问(推荐)

page就是页数为了获取一共有多少页可以通过定位下图的位置获取

page=bro.find_element_by_xpath('//span[@class="p-skip"]/em/b').text

我们知道了page变化的规律、知道了总页数那么就好写代码了

代码如下（示例）：

 page=bro.find_element_by_xpath('//span[@class="p-skip"]/em/b').textfor i in range(1,int(page)+1):sleep(1)print("-" * 30 + "已获取第%s页数据" % (i) + "-" * 30)url = "https://search.jd.com/Search?keyword=%s&page=%d" % (key,i*2-1)bro.get(url)parser_data(bro.page_source) #解析数据函数bro.quit()

方式二：循环点击下一页（不推荐）

因为我们用的是selenium 所以我们可以用循环点击下一页的方式实现翻页效果，写一个while循环

while循环一直循环，当什么时候结束循环呢，当下一页元素的class属性是"pn-next disabled"时就结束循环，当其class属性是"pn-next disabled"就是到了最后一页了，就可以结束循环，反之就会一直点击下一页按钮实现翻页，因为在最后一个的class属性值和在其他页数的属性值是不一样的，所以可以利用这个因素制作循环

最后一页的a标签class属性

其他页a标签的class属性

为了爬虫效果我们在爬虫过程中打印一下当前是第几页，所以用到了下图的按钮，利用这个元素打印出当前是第几页，我们用xpath定位可知他的xpath：//span/input[@class=“input-txt”] 其中他的value属性就是当前页数，所以再用.get_attribute(“value”)获取当前页数

代码如下（示例）：

while True:sleep(1.2)parser_data(bro.page_source) # 解析数据函数# 当到最后一页时停止循环try:if bro.find_element_by_xpath('//span[@class="p-num"]/a[last()]').get_attribute("class")=="pn-next disabled":breakelse:page = bro.find_element_by_xpath('//span/input[@class="input-txt"]').get_attribute("value")  # 获取当前为第几页print("-" * 30 + "已获取第%s页数据" % (page) + "-" * 30)bro.find_element_by_xpath('//span[@class="p-num"]/a[last()]').click() # 点击下一页按钮except:try:bro.find_element_by_xpath('//span[@class="p-num"]/a[last()]').click()  # 点击下一页按钮except:pass
print("共获取%s页数据"%(bro.find_element_by_xpath('//span/input[@class="input-txt"]').get_attribute("value")))

推荐使用方式一实现翻页，方式二会出现重复采集的现象，方式一相比更加稳定，也可能是我代码问题，方式二当时抛砖引玉大家可以尝试修改使用

5.解析数据

我们懂得了url实现了翻页，最后就该是解析数据了，这就很简单了，利用chrome知道数据列表定位复制Xpath，制作一个循环在利用Xpath提取数据再把数据写成字典。我是在每一条数据现在写了一个csv保存实现边解析数据边保存的效果，可以根据自己需求来。

代码如下（示例）：

   html=etree.HTML(data)li_list=html.xpath('//ul[@class="gl-warp clearfix"]/li') #数据列表for li in li_list:dic={}dic["title"]=li.xpath('./div/div[@class="p-name p-name-type-2"]/a/em//text()')dic["commit"]=li.xpath('./div/div[@class="p-commit"]/strong/a/text()')[0]dic["shop"]=li.xpath('./div/div[@class="p-shop"]/span/a/text()')[0]dic["price"]=li.xpath('./div/div[@class="p-price"]/strong/i/text()')[0]dic["details"] = "https:"+li.xpath('./div/div[@class="p-name p-name-type-2"]/a/@href')[0]#保存数据with open(".//jd.csv", "a+", encoding="utf-8") as f:writer = csv.DictWriter(f, dic.keys())writer.writerow(dic)

到这里，京东商品信息爬虫就完成了

二、京东商品评价爬虫

如果我们还是利用requests 访问详情页url 也是抓不到数据的

京东商品评价的数据也是得通过点击”评价“这个按钮才可以加载出来

1.找到接口

下面我们利用chrome的抓包工具来找到评价数据的接口

我们点击商品评价后出现了很多的数据包，可以利用search功能查找一下，复制评价中一个人的昵称查找

2.分析url

我们找到了数据包，现在我们来观察分析一下他的url

https://club.jd.com/comment/productPageComments.action?
callback=fetchJSON_comment98
&productId=100018642180  ==>商品ID
&score=0  ==》表示评价类型（0：全部评价  还有1、2、3 好评、中评、差评）
&sortType=5
&page=0  ==》页数
&pageSize=10  ==》每一页加载的数据个数
&isShadowSku=0
&fold=1

现在我们来试着去除一些参数简化url（callback必须去掉）

https://club.jd.com/comment/productPageComments.action?
&productId=100018642180
&score=0
&sortType=5
&page=0
&pageSize=10

现在的url我们可以用添加params的方式访问url 通过改变params中的page来实现翻页效果即：

params={"productId": 100018642180,"score": 0,"sortType": 5,"page": 0,"pageSize": 10
}
head={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36"
}
url="https://club.jd.com/comment/productPageComments.action?"
requests.get(url=url,headers=head,params=params)

3.解析数据

我们通过简化后的url进行访问，复制数据到json.cn 解析数据，对其折叠后我们可以看到每一条数据都是再comments中的

我们打开其中一条数据观察，可以找到评论内容、评论时间等数据

有了这些我们就可以写代码了，我们同访问返回的内容json化拿到数据

代码如下（示例）：

 text=requests.get(url=url,headers=head,params=params).json()data=text["comments"]for da in data:dic={}dic["nickname"] = da["nickname"]dic["productColor"] = da["productColor"]dic["productSize"] = da["productSize"]dic["replyCount"]=da["replyCount"]dic["usefulVoteCount"]=da["usefulVoteCount"]dic["content"]=da["content"]dic["creationTime"]=da["creationTime"]with open(".//comments.csv", "a", encoding="utf-8") as f:writer = csv.DictWriter(f, dic.keys())writer.writerow(dic)

到这里，对商品评价数据的爬取就结束了

4.词云

既然都有了数据，那就来做个简单的词云展示吧，我采集的是红米K40Pro的商品数据，现在看一下

可以看到对K40的评价中提到最多的是屏幕音效、外形外观、运行速度、拍照效果

代码如下（示例）：

from wordcloud import WordCloud
import pandas as pd
import matplotlib.pyplot as plt
plt.style.use('fivethirtyeight')
plt.rc('figure',figsize=(20,8),dpi=80)
names=['nickname','productColor','productSize','replyCount','usefulVoteCount','content','creationTime']
df=pd.read_csv('comments.csv',names=names)
font = r'C:\Windows\Fonts\simfang.ttf'
wc = WordCloud(font_path=font, background_color='White',width=1920,height=1080).generate(" ".join(df['content']))
plt.imshow(wc)
plt.axis("off")
plt.show()

好了，到这里这篇文章就结束了，如果觉得这篇文章不错对你有帮助的话就点个赞吧关注我博客持续更新爬虫项目

转载请标明出处

文章所用的爬虫源码在公众号”阿虚学Python“中，回复”京东“获取

最后谢谢大家的观看

爬虫项目五：最详细的京东商品、评价爬虫、词云展示相关推荐

scrapy爬虫之抓取《芳华》短评及词云展示
简介在scrapy爬虫之<琅琊榜2>话题title收集及词云展示及scrapy爬虫之模拟登录豆瓣l 两篇博文中,我们分别实现了直接爬取内容及模拟登陆豆瓣,现在我们将这两个功能整合到一起 ...
python爬虫爬取京东商品评价_网络爬虫-爬取京东商品评价数据
前段时间做商品评价的语义分析,需要大量的电商数据,于是乎就自己动手爬取京东的数据.第一次接触爬虫是使用selenium爬取CNKI的摘要,基于惯性思维的我仍然想用selenium+Firefox的方法 ...
网络爬虫-爬取京东商品评价数据
前段时间做商品评价的语义分析,需要大量的电商数据,于是乎就自己动手爬取京东的数据.第一次接触爬虫是使用selenium爬取CNKI的摘要,基于惯性思维的我仍然想用selenium+Firefox的方法 ...
爬取京东商品评价并生成词云
上期为大家介绍了requests库的基本信息以及使用requests库爬取某东的商品页,收到了很多同学的反馈说期待猪哥的更新,猪哥感到非常开心,今天就带大家来玩一把刺激的! 一.需求背景在实际开发过 ...
Python 爬取京东商品评论 + 词云展示
利用python爬虫爬取京东商品评论数据,并绘制词云展示. 原文链接:https://yetingyun.blog.csdn.net/article/details/107943979 创作不易,未经 ...
Selenium爬取京东商品评价，并进行基于情感词典的文本情感极性分析
Selenium爬取京东商品评价,并进行基于情感词典的文本情感极性分析 1. 介绍及开发环境 2. 爬虫实现 2.1 请求构造 2.2 提取信息 2.3 数据存储 2.4 运行结果 3. 文本情感分析 ...
python翻页爬取京东商品评价
python翻页爬取京东商品评价以小米手机评论为案例 1.找到目标的url 2.检查响应结果 3.解析json数据,发现相应数据无法成功解析注意:json数据一般都是以大括号或中括号开头或者结尾的 ...
Python爬虫-博客园首页推荐博客排行(整合词云+邮件发送)
1.前提: 总体思路,利用多线程(mutiSpider)爬取博客园首页推荐博客,根据用户名爬取该用户的阅读排行榜(TopViewPosts),评论排行榜(TopFeedbackPosts),推荐排行榜 ...
python爬虫采集京东商品评价
前两期给大家介绍了如何利用requests库爬取小说和图片,这一期就和大家分享一下如何爬取京东商品的评价信息,这里先设置爬取50页,以做日后分析. 准备工作下面式要用到的库,请确保电脑中有以下库,没 ...

爬虫项目五：最详细的京东商品、评价爬虫、词云展示

文章目录

前言

一、京东商品信息爬虫

1.分析URL

2.实例化chrome

3.加载完整数据

4.实现翻页

5.解析数据

二、京东商品评价爬虫

1.找到接口

2.分析url

3.解析数据

4.词云

爬虫项目五：最详细的京东商品、评价爬虫、词云展示相关推荐

最新文章

热门文章