Python爬虫淘宝商品详情页价格、类似数据
在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示:
当这个插件处于关闭状态时,待爬取的页面显示的数据如下:
当这个插件处于打开状态时,待爬取的页面显示的数据如下:
可以看到,页面上很多数据都不显示了,比如商品价格变成了划线价格,而且累计评论也变成了0,说明这些数据都是动态加载的,以下演示真实价格的找法(评论内容找法类似),首先检查页面元素,然后点击Network选项卡,刷新页面,可以看到很多动态加载的数据,在里面找到包含商品价格的链接(可以使用Ctrl+f查找),如下图所示:
将此链接在新的标签页打开,如下图所示,可以看到,被禁止访问了,所以爬取的时候要在headers中加上Referer字段告诉服务器你是从哪个页面链接过来的,Referer字段可以在这里查看:
评论数据的链接可以直接访问(和价格信息找法类似),这里我知己去访问它,如下图所示:
可以看到评论信息总共有7页,而且都是json格式的数据,所以可以用json反序列化去抽取数据,当然也可以用正则表达式,下面我将演示用正则去抽取数据,因为评论数据过多,这里只抓取第一页,如果需要所有评论数据,可以循环构造url,只需要修改currentPage参数的值就行。程序源码如下:
# filename:spider_taobao.py
#!/usr/bin/env python
# -*- coding=utf-8 -*-import re
import urllib2def spider_taobao(url):headers = {'Accept':'application/json, text/plain, */*','Accept-Language':'zh-CN,zh;q=0.3','Referer':'https://item.taobao.com/item.htm','User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36','Connection':'keep-alive',}goods_id = re.findall('id=(\d+)', url)[0]try:req = urllib2.Request(url=url, headers=headers)res = urllib2.urlopen(req).read().decode('gbk', 'ignore')except Exception as e:print '无法打开网页:', e.reasontry:title = re.findall('<h3 class="tb-main-title" data-title="(.*?)"', res)title = title[0] if title else Noneline_price = re.findall('<em class="tb-rmb-num">(.*?)</em>', res)[0]# 30-42行为抓取淘宝商品真实价格,该数据是动态加载的purl = "https://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm?itemId={}&modules=price,xmpPromotion".format(goods_id)price_req = urllib2.Request(url=purl, headers=headers)price_res = urllib2.urlopen(price_req).read()data = list(set(re.findall('"price":"(.*?)"', price_res)))# data列表中的价格可能是定值与区间的组合,也可能只是定值,而且不一定有序real_price = ""for t in data:if '-' in t:real_price = tbreakif not real_price:real_price = sorted(map(float, data))[0]# 45-53行为抓取评论数据,该数据也是动态加载的comment_url = "https://rate.tmall.com/list_detail_rate.htm?itemId={}&sellerId=880734502¤tPage=1".format(goods_id)comment_data = urllib2.urlopen(comment_url).read().decode("GBK", "ignore")temp_data = re.findall('("commentTime":.*?),"days"', comment_data)temp_data = temp_data if temp_data else re.findall('("rateContent":.*?),"reply"', comment_data)comment = ""for data in temp_data:comment += data.encode('utf-8')comment = comment if comment else "暂无评论"except Exception as e:print '数据抽取失败!!!'print '商品名:', titleprint '划线价格:', line_priceprint '真实价格:', real_priceprint '商品链接:', urlprint '部分评论内容:', commentif __name__ == '__main__':#url = 'https://item.taobao.com/item.htm?spm=a230r.1.14.30.43306a3fOeuZ0B&id=553787375606&ns=1&abbucket=10#detail'url = raw_input("请输入商品链接: ")spider_taobao(url)
运行结果如下:
Python爬虫淘宝商品详情页价格、类似数据相关推荐
- 淘宝商品详情页视频接口(视频参数,sku属性参数,销量参数等页面上的数据均可以采集,支持高并发请求)
淘宝商品详情页视频接口(视频参数,sku属性参数,销量参数等页面上的数据均可以采集,支持高并发请求)接口代码教程如下: 1.公共参数 名称 类型 必须 描述 key String 是 调用key(必须 ...
- 淘宝商品详情页API接口|tb获取商品主图接口
用到淘宝商品详情页API接口的用户,大部分是做电商软件,电商平台,商家等,使用到的比较常用的淘宝详情页API接口包括商品价格,商品主图,商品标题,SKU,店铺名称等等,还有以下几种: 淘宝商品详情页A ...
- iOS app url scheme跳转到淘宝商品详情页 唤醒app
最近涉及的一个业务,在app内的一个广告,点击打开webView,加载的是一个淘宝商品详情页,效果是打开该webView自动跳转至淘宝对应的页面,同时在自己的app仍然加载页面,点击评论等也同样能跳转 ...
- Android开发之仿淘宝商品详情页
看到有人在问如何实现淘宝商品详情页效果,手痒了就撸了一个,献上效果图 大致梳理一下思路,这里不提供源码 状态栏透明使用开源库StatusBarCompat,为了兼容手机4.4 dependencies ...
- 自定义viewGroup防淘宝商品详情页
解决在顶部.底部还可以拖动的问题if (child==fragment2){if (top<0){//让fragment2底部不能上拉 显示viewGroup的背景色lastTop = 0;}} ...
- 通过Python开发淘宝商品详情、淘宝关键字搜索封装成API接口
目录 开发背景及目标 淘宝商品详情简要描述 淘宝商品详情请求URL 淘宝商品详情请求方式 接口参数 淘宝商品详情API返回示例 (parse=1) 返回示例 (parse=0) 淘宝商品详情接口返回参 ...
- Python爬取淘宝商品详情页数据
在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示: 当这个插件处于关闭状态时,待爬取 ...
- 数据分析实战二:爬取淘宝商品详情页进行分析
对淘宝商品信息进行数据分析 项目流程: 1.数据获取 2.数据清洗 3.数据分析与可视化 数据获取(爬虫) 淘宝数据是通过动态加载的方式显示的,所以采用selenium模拟浏览器操作爬取商品页详情信息 ...
- 淘宝商品详情页API接口、淘宝商品销量API接口、淘宝商品列表API接口、淘宝APP详情API接口、淘宝详情API接口
大家都知道,淘宝的反爬虫机制十分严,而很多时候,没办法高效的拿到数据内容响应终端需求,而依赖爬虫就会造成动不动就出现滑块验证,让人很无解,正好,公司有这样的需求,让我负责解决这个问题,刚开始各种尝试, ...
最新文章
- lsnrctl start启动监听很慢(AIX平台)
- sscanf简单用法
- c语言编程 输入螺旋数组,C语言 经典题目螺旋矩阵 实例详解
- 管理员密码的php文件,ecshop网站后台管理员密码找回办法
- CentOS挂载U盘
- 手机照片导入电脑步骤_怎样把手机里的照片传到电脑里
- C语言/C++编程的起源与能力学习
- mysql 协议的processInfo命令包及解析
- 敏捷个人A1组第二次讨论纪要 你在事业上打算何去何从?
- 电商系统架构全链路解析
- matlab设计理想带通滤波器 bpf(f_sf_b1_b2),QDPSK信号数字化解调器中带通滤波器的设计与仿真...
- 运维演进正确之道-ITIL+DevOps双态运维
- 北方工业大学计算机科学与技术复试分数线,北方工业大学计算机学院 2016 年硕士生复试结果.pdf...
- 韩商言房子卖价有多高,做现女友就有多难?
- 推荐一款在线免费共享云桌面
- Chrome插件的使用
- AngularJS 双向绑定 input type='file'中文件名,文件内容
- 小学生预习能力培养的策略和方法研究	开题报告
- 开发人员必须了解的 10 大前端开发工具
- Linux虚拟机占用宿主机磁盘空间压缩
热门文章
- 类似索引Model套Model之 iOS模型闲聊二
- 上手Caffe(一)
- 《Java编程思想》第四版读书笔记 第四章
- 关于JAVA中的synchronized,一段不错的解释...
- 制作openstack-centos镜像
- 随便唠叨下 最近的事情
- 职场提醒:面试失败n次以后
- python读取多个文件夹下所有txt_Python实现合并同一个文件夹下所有txt文件的方法示例...
- dubbo简易监控中心安装
- python 音速_中国大学MOOC的APP(慕课)2021用Python玩转数据章节答案