python爬虫爬取京东_python爬取京东价格
1.爬取商品名
Apple iPhone 7 (A1660) 32G 黑色 移动联通电信4G手机
title = soup.select('.sku-name')[0].string.strip()
2.爬取价格
在京东的单个产品页面上,通过查看源码检查html,可以看到
¥
这里没有直接给出价格。
这是因为价格数据是通过JS动态加载的,而HTML源码中并不包含动态加载的页面内容。
如何获取京东商品的价格
在火狐浏览器中安装了Firebug。右键点击商品价格,选择“使用Firebug查看元素”,可以看到打开的“HTML”中包含了价格信息。这是因为Firebug的”HTML”显示的是动态加载完所有数据后的源码。
这个就是针对价格请求返回的响应页面,其中”p”表示的就是商品的价格。
3.爬取好评率
代码如下
# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import requests
import re
def get_page():
url = "https://item.jd.com/3133817.html"
headers = {
"User-Agent":"Mozilla/4.0 (compatible;MSIE 7.0;Windows NT 5.1;360SE)"
}
reponse = requests.get(url,headers=headers)
if reponse.status_code == 200:
return reponse.text
return None
def prase_page(html):
result_list = []
result_dict = {}
soup = BeautifulSoup(html,'html.parser')
title = soup.select('.sku-name')[0].string.strip()
price_url = "https://p.3.cn/prices/mgets?skuIds=J_3133817"
url_session = requests.Session()
price_req = url_session.get(price_url).text
price = re.findall(r'"p":"(.*?)"', price_req)
appraise_url = "https://sclub.jd.com/comment/productPageComments.action?&productId=3133817&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
appraise_session = requests.Session()
appraise_req = appraise_session.get(appraise_url).text
appraise = re.findall(r'"goodRateShow":(\d+),.*', appraise_req)
print(title)
print(price[0])
print(appraise[0])
# for tag in soup.find_all('div',class_='itemInfo-wrap'):
# title = tag.find('div',class_='sku-name').get_text()
# # price = tag.find('span',class_='price J-p-3133817').get_text()
# p_price = tag.find('div',class_='dd')
# p_span = p_price.findAll('span')
# price = p_span[0].contents[1]
# print(price)
html = get_page()
prase_page(html)
python爬虫爬取京东_python爬取京东价格相关推荐
- python爬虫有道词典_Python爬取有道词典,有道的反爬很难吗?也就这样啊!
前言 大家好 最近python爬虫有点火啊,啥python爬取马保国视频--我也来凑个热闹,今天我们来试着做个翻译软件--不是不是,说错了,今天我们来试着提交翻译内容并爬取翻译结果 主要内容 PS ...
- python爬虫知乎图片_python 爬取知乎图片
先上完整代码 1 importrequests2 importtime3 importdatetime4 importos5 importjson6 importuuid7 from pyquery ...
- python 爬虫餐饮行业 数据分析_Python爬取美团美食板块商家数据
导语 利用Python简单爬取美团美食板块商家数据... 其实一开始我是想把美团的所有商家信息爬下来的,这样就可以美其名曰百万数据了... 然而相信很多爬过美团的朋友都发现了... 如果不进行一些小操 ...
- python爬虫淘宝评论_Python爬取淘宝店铺和评论
1 安装开发需要的一些库 (1) 安装mysql 的驱动:在Windows上按win+r输入cmd打开命令行,输入命令pip install pymysql,回车即可. (2) 安装自动化测试的驱动s ...
- python爬虫免费代理池_Python爬取免费代理搭建代理池
我们在做爬虫的过程中经常会遇到这样的情况:最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403Forbidden:这时候网页上可能会出现 "您 ...
- python爬虫猫眼电影票房_python爬取猫眼电影top100排行榜
爬取猫眼电影TOP100(http://maoyan.com/board/4?offset=90) 1). 爬取内容: 电影名称,主演, 上映时间,图片url地址保存到mariadb数据库中; 2). ...
- python爬虫提取a标签_python 爬取a标签内href的方法及遇到的问题
1 #-*- coding:utf-8 -*- 2 #python 2.7 3 #XiaoDeng 4 #http://tieba.baidu.com/p/2460150866 5 #标签操作 6 7 ...
- python爬虫和信息收集_python爬站长之家写一个信息搜集器
前言: 不知道写什么好,绕来绕去还是写回爬虫这一块. 之前的都爬了一遍.这次爬点好用一点的网站. 0x01: 自行备好requests模块 目标站:http://tool.chinaz.com/ 0x ...
- 从入门到入土:Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
- 从入门到入土:Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
最新文章
- cve-2018-2628 Weblogic反序列化漏洞实现反弹shell
- capistrano
- 成功解决 编程语言代码结果中输出-9223372036854775808的数据
- java图书馆管理系统_六天写出来的基于Swing的图书管理系统你不来吐槽一下?
- python去重复元素_python 去除单个list中的重复元素
- 68张机械原理动图,够你看一晚上了!
- OpenCV图像的轮廓的匹配
- win7系统怎么拷贝到u盘_win7/10系统复制文件到u盘提示文件过大怎么办
- UWP开发---通过委托跨页面导航
- 一次性插入上万条数据的写法
- redis docker安装、进入命令行后启动服务
- 董明珠回应口罩预约不到:没想到几十万人预约 正提高产能
- 贝叶斯网的R实现( Bayesian networks in R)bnlearn(1)
- python中如何调用类takes no arguments_关于python中的 take no arguments 的解决方法
- KeyShot实例教程教你怎么模拟水面效果
- lisp princ详解_LISP-输入和输出
- java中实例化代码块_Java面向对象--代码块(初始化块)和内部类
- 哈佛php公开课,哈佛公开课
- 《幸福的勇气》笔记四——自立就是摆脱“自我”
- MongoDB 之滴滴、摩拜都在用的索引-educoder上面的题目以及笔记