淘宝APP详情数据采集

在讲爬取淘宝详情页数据之前，先来介绍一款 Chrome 插件：Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容)，如下图所示：

当这个插件处于关闭状态时，待爬取的页面显示的数据如下:

当这个插件处于打开状态时，待爬取的页面显示的数据如下:

可以看到，页面上很多数据都不显示了，比如商品价格变成了划线价格，而且累计评论也变成了0，说明这些数据都是动态加载的，以下演示真实价格的找法(评论内容找法类似)，首先检查页面元素，然后点击Network选项卡，刷新页面，可以看到很多动态加载的数据，在里面找到包含商品价格的链接(可以使用Ctrl+f查找)，如下图所示:

将此链接在新的标签页打开，如下图所示，可以看到，被禁止访问了，所以爬取的时候要在headers中加上Referer字段告诉服务器你是从哪个页面链接过来的，Referer字段可以在这里查看:

评论数据的链接可以直接访问(和价格信息找法类似)，这里我知己去访问它，如下图所示:

可以看到评论信息总共有7页，而且都是json格式的数据，所以可以用json反序列化去抽取数据，当然也可以用正则表达式，下面我将演示用正则去抽取数据，因为评论数据过多，这里只抓取第一页，如果需要所有评论数据，可以循环构造url，只需要修改currentPage参数的值就行。程序源码如下:

# filename:spider_taobao.py
#!/usr/bin/env python
# -*- coding=utf-8 -*-import re
import urllib2def spider_taobao(url):headers = {'Accept':'application/json, text/plain, */*','Accept-Language':'zh-CN,zh;q=0.3','Referer':'https://item.taobao.com/item.htm','User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36','Connection':'keep-alive',}goods_id = re.findall('id=(\d+)', url)[0]try:req = urllib2.Request(url=url, headers=headers)res = urllib2.urlopen(req).read().decode('gbk', 'ignore')except Exception as e:print '无法打开网页:', e.reasontry:title = re.findall('<h3 class="tb-main-title" data-title="(.*?)"', res)title = title[0] if title else Noneline_price = re.findall('<em class="tb-rmb-num">(.*?)</em>', res)[0]# 30-42行为抓取淘宝商品真实价格，该数据是动态加载的purl = "https://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm?itemId={}&modules=price,xmpPromotion".format(goods_id)price_req = urllib2.Request(url=purl, headers=headers)price_res = urllib2.urlopen(price_req).read()data = list(set(re.findall('"price":"(.*?)"', price_res)))# data列表中的价格可能是定值与区间的组合，也可能只是定值，而且不一定有序real_price = ""for t in data:if '-' in t:real_price = tbreakif not real_price:real_price = sorted(map(float, data))[0]# 45-53行为抓取评论数据，该数据也是动态加载的comment_url = "https://rate.tmall.com/list_detail_rate.htm?itemId={}&sellerId=880734502&currentPage=1".format(goods_id)comment_data = urllib2.urlopen(comment_url).read().decode("GBK", "ignore")temp_data = re.findall('("commentTime":.*?),"days"', comment_data)temp_data = temp_data if temp_data else re.findall('("rateContent":.*?),"reply"', comment_data)comment = ""for data in temp_data:comment += data.encode('utf-8')comment = comment if comment else "暂无评论"except Exception as e:print '数据抽取失败!!!'print '商品名:', titleprint '划线价格:', line_priceprint '真实价格:', real_priceprint '商品链接:', urlprint '部分评论内容:', commentif __name__ == '__main__':#url = 'https://item.taobao.com/item.htm?spm=a230r.1.14.30.43306a3fOeuZ0B&id=553787375606&ns=1&abbucket=10#detail'url = raw_input("请输入商品链接: ")spider_taobao(url)

淘宝APP详情数据采集相关推荐

淘宝app详情接口，淘宝详情页接口，宝贝详情页接口，商品属性接口,商品信息查询,商品详细信息接口,h5详情
一.接口效果(名称有联系方式可以加我) 提取淘宝商品详情页各项数据,包含skuid.价格.收藏数.加购数.月销售量.主图.标题.详情页图片,价格低至几厘数据格式如下,2022年1月份最新版 | { ...
跨境电商，淘宝app详情接口，淘宝详情页接口，宝贝详情页接口，商品属性接口,商品信息查询,商品详细信息接口,h5详情
一.接口效果(名称有联系方式可以加我) 提取淘宝商品详情页各项数据,包含skuid.价格.收藏数.加购数.月销售量.主图.标题.详情页图片,价格低至几厘数据格式如下,2022年7月份最新版全平台数 ...
淘宝商品详情接口，淘宝详情页接口，宝贝详情页接口，商品属性接口,商品信息查询,商品详细信息接口,h5详情,淘宝APP详情
一.接口参数说明: 提取淘宝商品详情页各项数据,包含skuid.价格.收藏数.加购数.月销售量.主图.标题.详情页图片,点击获取请求key和secret 二.建议使用场景 1.商品销售情况分析,根据销 ...
淘宝app详情接口，淘宝详情页接口，商品信息查询,商品详细信息接口,h5详情，宝贝详情页接口，商品属性接口,
一.接口效果提取淘宝商品详情页各项数据,包含skuid.价格.收藏数.加购数.月销售量.主图.标题.详情页图片,价格低至几厘,量大甚至免费,详情请加我,或者私聊我二.建议使用场景 1.商品销售情况 ...
Python淘宝App详情采集接口
采集淘宝商品列表和商品详情遇到滑块验证码的解决方法(带SKU和商品描述,可高并发),主要是解决了高频情况下的阿里系滑块和必须要N多小号才能解决的反扒问题淘宝的反爬虫机制十分严,而很多时候,没办法高效 ...
淘宝商品详情页API接口、淘宝商品销量API接口、淘宝商品列表API接口、淘宝APP详情API接口、淘宝详情API接口
大家都知道,淘宝的反爬虫机制十分严,而很多时候,没办法高效的拿到数据内容响应终端需求,而依赖爬虫就会造成动不动就出现滑块验证,让人很无解,正好,公司有这样的需求,让我负责解决这个问题,刚开始各种尝试, ...
淘宝商品详情页接口,淘宝实时销量接口，淘宝商品列表接口，淘宝APP详情接口，H5商品详情接口
采集淘宝商品列表和商品详情及淘宝实时销量遇到滑块验证码的解决方法(带SKU和商品描述,可高并发),主要是解决了高频情况下的阿里系滑块和必须要N多小号才能解决的反扒问题,以后都可以使用以下的方法: 大家 ...
淘宝商品详情页API接口、淘宝商品列表API接口，淘宝商品销量API接口，淘宝APP详情API接口，淘宝详情API接口
淘宝商品列表和商品详情及淘宝实时销量采集遇到滑块验证码的解决方法(带SKU和商品描述,可高并发),主要是解决了高频情况下的阿里系滑块和必须要N多小号才能解决的反扒问题,以后都可以使用以下的方法,包括淘 ...
宝贝详情页接口，商品属性接口,商品信息查询,商品详细信息接口,h5详情,淘宝APP详情
在技术交流群,大家有探讨稳定获取淘宝商品主图.价格.标题,及sku的完整解决方案.这个引起了我技术挑战的兴趣.目前,自己做了压测,QPS高.出滑块概率极低,API整体稳定,可满足业务场景的性能需求. ...

淘宝APP详情数据采集

淘宝APP详情数据采集相关推荐

最新文章

热门文章