扒取京东“java”搜索书籍与价格

re正则表达式扒取京东购物网页。

# coding=gbk
import urllib.request
import re
for k in range(3):response = urllib.request.urlopen("https://search.jd.com/Search?keyword=java&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page="+str(2*k+1))html = response.read().decode('utf-8')  # 获取网页代码# 匹配价格和书名html = re.sub('(<font class="skcolor_ljg">)', '', html)html = re.sub('(</font>)', '', html)result = re.findall('<div class="p-price">.*?<i>(.*?)</i>.*?<div class="p-name p-name-type-2">.*?<em>(.*?)</em>',html, re.S)for i in result:print(i[1], "¥", i[0])

扒取结果：

Java从入门到精通（第4版 附光盘） ? 47.40
深入理解Java虚拟机：JVM高级特性与最佳实践（第2版） ? 54.90
Java核心技术 卷I：基础知识（原书第10版） ? 93.00
O'Reilly：Head First Java（中文版 第2版 涵盖Java5.0） ? 54.50
深入分析Java Web技术内幕（修订版） ? 62.40
疯狂Java讲义（第3版 附光盘） ? 86.10
Java精彩编程200例（全彩版） ? 57.90
Effective Java中文版（第2版） ? 41.00
实战Java高并发程序设计 ? 54.50
Java从入门到精通（项目案例版） ? 67.40
数据结构与算法分析：Java语言描述（原书第3版） ? 54.50
Java并发编程的艺术 ? 46.60
零基础学Java（全彩版）（附光盘小白手册） ? 50.60
架构探险：从零开始写Java Web框架 ? 62.40
华章专业开发者丛书·Java并发编程实战 ? 54.50
Java程序性能优化：让你的Java程序更快、更稳定 ? 50.20
Java语言程序设计（基础篇 原书第10版） ? 67.10
Java常用算法手册（第3版）（附光盘） ? 47.20
Java EE互联网轻量级框架整合开发 SSM框架（Spring MVC+Spring+MyBatis）和Redis实现 ? 94.00
JavaWeb项目开发实战入门（全彩版） ? 50.60
O'Reilly：Head First设计模式（中文版） ? 67.60
Java 8实战 ? 62.40
Spring+MyBatis企业应用实战 ? 45.80
Java微服务 ? 54.50
Java编程思想(第4版) ? 64.70
Java Web从入门到精通（第2版）（配光盘）（软件开发视频大讲堂） ? 63.00
Java并发编程：核心方法与框架 ? 62.40
算法 第4版 Algorithms Fourth Edition ? 78.20
Tomcat与Java Web开发技术详解（第2版）（附光盘） ? 62.80
Java RESTful Web Service实战（第2版） ? 46.60
Java核心API编程/大数据开发工程师系列 ? 30.60
Java经典实例（第三版） ? 111.00
Java常用算法手册(第3版)(附光盘) ? 44.80
Java线程与并发编程实践 ? 43.50
Java 8编程参考官方教程（第9版） ? 111.20
共2本 Java核心技术卷I基础知识+Java核心技术卷II高级特性（原书第10版） ? 192.80
精通lambda表达式：Java多核编程 ? 31.20
51CTO学院系列丛书·实战Java虚拟机：JVM故障诊断与性能优化 ? 62.40
Java语言规范：基于Java SE 8 ? 101.90
Java Web程序开发入门（附光盘） ? 36.00
Netty实战  java java开源 网络应用程序框架 人民邮电出版社 ? 55.00
Java特种兵（上册 附光盘） ? 62.40
Java开发实例大全·基础卷/软件工程师开发大系（附光盘） ? 102.40
Java核心技术 卷II 高级特性（第10版 英文版）（上下册） ? 101.90
Java WebSocket编程 开发、部署和保护动态Web应用 ? 31.20
Java EE开发的颠覆者 Spring Boot实战 汪云飞编 ? 64.00
疯狂JAVA讲义(第3版)(含CD光盘1张)(第3版) ? 76.30
Java性能权威指南 ? 62.40
企业级Java EE架构设计精深实践 前端模板展现 数据库访问 缓存 再到文件系统 服务分 ? 80.00
解密搜索引擎技术实战 Lucene&Java精华版（第3版） ? 62.40
代码不朽：编写可维护软件的10大要则（Java版） ? 57.80
Java从入门到精通（第4版 附光盘） ? 45.30
Java Web开发实例大全 基础卷  配光盘  软件工程师开发大系 ? 102.40
JAVA开发专家：Java 面向对象编程 ? 55.10
Java开发实例大全 提高卷/软件工程师开发大系（附光盘） ? 102.40
包邮Java从入门到精通（第4版 附光盘）java视频教程java编程思想入门书java教 ? 56.50
Java核心技术 卷1 基础知识（原书第9版） ? 95.00
Java面向对象编程（第2版） ? 70.30
Java并发编程的艺术 方腾飞魏鹏程晓明 计算机与互联网 书籍 ? 44.20
Java技术手册（影印版第6版 英文版） ? 61.80
Java EE开发的颠覆者：Spring Boot实战+深入实践Spring Boot（套装共2册） ? 127.00
Java程序性能优化 让你的Java程序更快 更稳定 葛一鸣等 计算机与互联网 书籍 ? 42.10
正版包邮 Java从入门到精通 视频教学 自学java基础入门编程思想算法书 程序设计书籍 ? 56.30
Java从入门到动手写虚拟机2（套装共2册） ? 146.00
数字伺服控制及Java软件设计（附CD-ROM光盘1张） ? 26.40
写给大忙人看的Java SE 8 ? 46.60
Java Web从入门到精通（第二版） ? 58.80
21天学通Java（第4版） ? 50.10
数据结构与算法分析 Java语言描述(原书第3版) 计算机与互联网 书籍 ? 51.70
Java项目开发实战密码/赢在项目开发（附光盘） ? 52.70
Java编程思想(第4版) ? 64.70
Java就该这样学 ? 38.70
包邮 Java机器学习+神经网络算法与实现 基于Java语言 2本  人工智能书籍 ? 82.00
Java多线程编程核心技术 高洪岩 计算机与互联网 书籍 ? 53.10
Java Web程序设计 慕课版 ? 39.30
Java Web开发实践教程（清华电脑学堂） ? 58.70
Java从入门到精通(第3版)(配光盘) 明日科技 计算机与互联网 书籍 ? 41.80
Java技术手册（第6版） ? 62.40
Java程序开发书籍 （视频讲解版）Java从入门到精通 视频讲解版面向Java技术的初学 ? 71.20
Java核心技术 原书**0版(原书**0版)卷1 基础知识 ? 89.20
Java中文文本信息处理（从海量到精准） ? 47.60
Java网络编程(第4版) 计算机与互联网 书籍 ? 60.80
自己动手写Java虚拟机+深入理解Java虚拟机（套装共2册） ? 122.10
包邮 Java 8实战+Java 8函数式编程  2本 ? 88.00
Java程序员修炼之道 ? 70.30
图解数据结构：使用Java ? 39.20
Java从入门到精通 第4版（附光盘） ? 48.90
轻量级Java EE企业应用实战 Struts 2+Spring 4+Hibernate ? 79.90
JAVA WEB整合开发王者归来(JSP+SERVLET+STRUTS+HIBERNAT ? 78.80
Java经典实例(第3版) 计算机与互联网 书籍 ? 109.50进程已结束,退出代码0

结果解释：
此结果为扒取的京东商城java关键词搜索的3页内容。

问题讨论：
网页版京东一页有60个内容，但只能扒取得到30个，浏览的时候后面30个也是二次加载。
此处存在问题没有解决，希望同道中人给出建议。
感谢。

扒取京东“java”搜索书籍与价格相关推荐

Python selenium练习：爬取京东商品搜索结果
Selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作(具体的配置或使用可以百度).我用的谷歌浏览器,先在镜像下载谷歌浏览器版本对应的驱动版本https://npm.taobao.o ...
八个commit让你学会爬取京东商品信息
我发现现在不用标题党的套路还真不好吸引人,最近在做相关的事情,从而稍微总结出了一些文字.我一贯的想法吧,虽然才疏学浅,但是还是希望能帮助需要的人.博客园实在不适合这种章回体的文章.这里,我贴出正文的前 ...
python爬虫京东关键词搜索商品及具体参数和评论
文章目录爬取京东关键词搜索商品及具体参数和评论查看京东关键词搜索,分析其网址各部分代表的意义,选取特定分类和时间区间进行爬取解析网页内容,查看商品参数的位置: 筛选所需数据,输出并保存,尝试输出 ...
selenium+lxml爬取京东商品信息
京东商城: 京东JD.COM-专业的综合网上购物商城,中国自营式电商企业,创始人刘强东担任京东集团董事局主席兼首席执行官.销售超数万品牌.4020万种商品,囊括家电.手机.电脑.母婴.服装等13大品类 ...
java 爬取京东商品详细信息价格
java 爬取京东商品详细信息价格获取图中的价格,因为京东的价格有反扒机制,价格通过js加载的,直接通过页面标签是获取不到的,所以我们要去要相应的js. http://p.3.cn/prices/ ...
【Python爬虫】爬取京东手机名字和价格(搜索的第一页)，存入Excel表
在爬取了网易云歌单之后,在网上找各种爬虫实战,然后就觉得这个简单一点,然后就开始了我的懵逼之路.这个代码只是爬取搜索出来的信息的第一页,后续会学习爬取下一页,还有添加京东首页搜索能力,现在就先写着第一 ...
go爬虫和python爬虫哪个好_python 爬虫实战项目--爬取京东商品信息（价格、优惠、排名、好评率等）-Go语言中文社区...
利用splash爬取京东商品信息一.环境 window7 python3.5 pycharm scrapy scrapy-splash MySQL 二.简介为了体验scrapy-splash 的动 ...
利用Eclipse-Python简单爬取京东商城书籍信息进行可视化
[实验目的] 熟悉从网上爬取数据到将数据进行可视化的全部流程,通过实例了解并掌握每个过程. 了解爬虫爬取数据的原理,并选择一种语言编程,将数据获取到数据库. 熟练使用 eclipse 中 Java 语 ...
java爬虫京东商品,Java爬虫实现爬取京东上的手机搜索页面 HttpCliient+Jsoup
1.需求及配置需求:爬取京东手机搜索页面的信息,记录各手机的名称,价格,评论数等,形成一个可用于实际分析的数据表格. 使用maven项目,log4j记录日志,日志仅导出到控制台. maven依赖如下 ...

扒取京东“java”搜索书籍与价格

扒取京东“java”搜索书籍与价格相关推荐

最新文章

热门文章