Scrapy 如何正确配置、验证xpath?
[题记]:xpath难点
在使用scrapy做爬取网页的时候,规则的匹配是关键。如:sel.xpath(‘//ul[@id=”dirlist”]/li/dl/dt’)的正确配置。
如何进行xpath的正确配置呢? Scrapy shell交互终端是一个可供较快调试、验证配置结果的好工具。
1、Scrapy Shell介绍
Scrapy终端是一个交互终端,供您在未启动spider的情况下尝试及调试您的爬取代码。
其本意是用来测试提取数据的代码,不过您可以将其作为正常的Python终端,在上面测试任何的Python代码。
该终端是用来测试XPath或CSS表达式,查看他们的工作方式及从爬取的网页中提取的数据。 在编写您的spider时,该终端提供了交互性测试您的表达式代码的功能,免去了每次修改后运行spider的麻烦。
一旦熟悉了Scrapy终端后,您会发现其在开发和调试spider时发挥的巨大作用。
2、Scrapy Shell安装
如果您安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。 强烈推荐您安装 IPython ,特别是如果您使用Unix系统(IPython 在Unix下工作的很好)。
安装参考:
http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/shell.html
IPython安装:
pip install ipython (前提python已安装)
3、启动终端 scrapy shell
使用命令格式:scrapy shell 待爬取的链接URL
举例如下:
[root@yang testing]# scrapy shell http://www.11467.com/tianjin/dir/a05-p4.htm
2016-10-13 14:10:27 [scrapy] INFO: Scrapy 1.1.2 started (bot: scrapybot)
2016-10-13 14:10:27 [scrapy] INFO: Overridden settings: {'LOGSTATS_INTERVAL': 0, 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter'}
2016-10-13 14:10:27 [py.warnings] WARNING: :0: UserWarning: You do not have a working installation of the service_identity module: 'No module named pyasn1_modules.rfc2459'. P.2016-10-13 14:10:27 [scrapy] INFO: Enabled extensions:
['scrapy.extensions.telnet.TelnetConsole','scrapy.extensions.corestats.CoreStats']
2016-10-13 14:10:27 [scrapy] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware','scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware','scrapy.downloadermiddlewares.useragent.UserAgentMiddleware','scrapy.downloadermiddlewares.retry.RetryMiddleware','scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware','scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware','scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware','scrapy.downloadermiddlewares.redirect.RedirectMiddleware','scrapy.downloadermiddlewares.cookies.CookiesMiddleware','scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware','scrapy.downloadermiddlewares.stats.DownloaderStats']
2016-10-13 14:10:27 [scrapy] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware','scrapy.spidermiddlewares.offsite.OffsiteMiddleware','scrapy.spidermiddlewares.referer.RefererMiddleware','scrapy.spidermiddlewares.urllength.UrlLengthMiddleware','scrapy.spidermiddlewares.depth.DepthMiddleware']
2016-10-13 14:10:27 [scrapy] INFO: Enabled item pipelines:
[]
2016-10-13 14:10:27 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6031
2016-10-13 14:10:27 [scrapy] INFO: Spider opened
2016-10-13 14:10:27 [scrapy] DEBUG: Crawled (200) <GET http://www.11467.com/tianjin/dir/a05-p4.htm> (referer: None)
2016-10-13 14:10:28 [traitlets] DEBUG: Using default logger
2016-10-13 14:10:28 [traitlets] DEBUG: Using default logger
[s] Available Scrapy objects:
[s] crawler <scrapy.crawler.Crawler object at 0x2e8d9d0>
[s] item {}
[s] request <GET http://www.11467.com/tianjin/dir/a05-p4.htm>
[s] response <200 http://www.11467.com/tianjin/dir/a05-p4.htm>
[s] settings <scrapy.settings.Settings object at 0x2e8d950>
[s] spider <DefaultSpider 'default' at 0x331ed90>
[s] Useful shortcuts:
[s] shelp() Shell help (print this help)
[s] fetch(req_or_url) Fetch request (or URL) and update local objects
[s] view(response) View response in a browser
In [1]:
//验证xpath的正确性,若正确会有如下的输出;否则,则不会有输出。
In [1]: sel.xpath('//ul[@id="dirlist"]/li/dl/dt/h4/a/text()')
2016-10-13 14:12:46 [py.warnings] WARNING: shell:1: ScrapyDeprecationWarning: "sel" shortcut is deprecated. Use "response.xpath()", "response.css()" or "response.selector" insteadOut[1]:
[<Selector xpath='//ul[@id="dirlist"]/li/dl/dt/h4/a/text()' data=u'\u5929\u6d25\u5e02\u4e1c\u4e3d\u533a\u755c\u7267\u6c34\u4ea7\u5c40\u755c\u79bd\u826f\u79cd\u573a'>,<Selector xpath='//ul[@id="dirlist"]/li/dl/dt/h4/a/text()' data=u'\u5929\u6d25\u5e02\u4e1c\u4e3d\u533a\u4e61\u9547\u755c\u7267\u517d\u533b\u7ba1\u7406\u7ad9'>,<Selector xpath='//ul[@id="dirlist"]/li/dl/dt/h4/a/text()' data=u'\u5929\u6d25\u5e02\u4e1c\u4e3d\u533a\u8352\u8349\u5768\u4e61\u517d\u533b\u7ad9'>,<Selector xpath='//ul[@id="dirlist"]/li/dl/dt/h4/a/text()' data=u'\u5929\u6d25\u5e02\u4e1c\u4e3d\u533a\u4e48\u516d\u6865\u56de\u65cf\u4e61\u519c\u4e1a\u516c\u53f8\u66d9\u5149\u79cd\u7f8a\u573a'>,<Selector xpath='//ul[@id="dirlist"]/li/dl/dt/h4/a/text()' data=u'\u5929\u6d25\u5e02\u5927\u6e2f\u533a\u755c\u79bd\u826f\u79cd\u573a'>,<Selector xpath='//ul[@id="dirlist"]/li/dl/dt/h4/a/text()' data=u'\u5929\u6d25\u5e02\u5927\u6e2f\u533a\u519c\u6797\u755c\u7267\u5c40\u755c\u7267\u517d\u533b\u7ad9\uff08\u5929\u6d25\u5e02\u5927\u6e2f\u533a\u52a8\u7269\u68c0\u75ab\u7ad9\uff09'>,
4.Xpath地址获取方式
sel.xpath(‘//ul[@id=”dirlist”]/li/dl/dt/h4/a/text()’)解析:
如下图所示:
//ul[@id=”dirlist”] :覆盖整个左侧区域;
/li/dl/dt/h4/a/text(): 定位到具体的公司名称。
5.采集结果验证
采集目标:
"http://www.11467.com/tianjin/dir/a.htm","http://www.11467.com/tianjin/dir/a.htm",........."http://www.11467.com/tianjin/dir/s.htm"
有效公司数目:16万8510条。
[root@yan scrapy_tianjin02]# cat tianjin1013.txt | wc -l
168510
[root@yan scrapy_tianjin02]# tail -f tianjin1013.txt
足千里(天津)科技有限公司
最美花开(天津)网络科技有限公司
醉潮尚(天津)餐饮管理有限公司
遵化市珍珠甘栗食品有限公司天津分公司
遵化燕山塔陵有限公司天津办事处
遵义神龙医药保健有限责任公司驻天津办事处
6.使用工具
1)浏览器:firefox
2) 插件:firepath, firebug
3)插件使用与下载地址:
http://blog.csdn.net/qiyueqinglian/article/details/49280221
2016年10月13日 20:45 思于家中床前
作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/52809927
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢!
Scrapy 如何正确配置、验证xpath?相关推荐
- 在scrapy中parse函数里面xpath的内容打印不出来_如何正确的使用Scrapy ?
本节是 <Python爬虫从入门到进阶>课程中的一节,课程购买链接(PC访问需要微信扫码) ,目前已更新80% 课程 购买课程请扫码: Scrapy是一个为了爬取网站数据,提取结构性数据而 ...
- 在Ubuntu20.04上安装MySQL8.0及正确配置[已验证]
在Ubuntu20.04上安装MySQL8.0及正确配置[已验证] 安装MySQL 验证 登陆MySQL 创建db 解决workbench连接的问题 小结 常用操作 如何新增用户 对新增的用户更改加密 ...
- Nodejs实现微信网页授权及正确配置JS-SDK接口
原文链接:<Nodejs实现微信网页授权及正确配置JS-SDK接口>- 陈帅华 帅华君将在本文介绍基于Nodejs实现微信网页授权以及如何正确在前后端配置JS-SDK接口. 微信网页授权 ...
- 【RTX3060(暗夜精灵)等系列显卡正确配置Pytorch及其对于cuda和cudann版本的深度学习环境(避免由于版本不适应导致重装)】
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 RTX3060(暗夜精灵)等系列显卡正确配置Pytorch及其对于cuda和cudann版本的深度学习环境(避免由于版本不适应导致重装 ...
- python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
python3 [爬虫入门实战]爬虫之scrapy安装与配置教程 标签: python爬虫scrapy 2017-07-08 15:38 77人阅读 评论(0) 收藏 举报 分类: python3爬虫 ...
- 正确配置SSL加密,确保HTTPS安全性能
SSL加密是Web应用程序安全的基础,它们为计算机网络提供通信数据加密.数据完整性校验和通信方身份认证功能,保护通信安全隐私.不过,只有正确配置SSL加密,才能真正发挥HTTPS加密的作用. 安全测试 ...
- 转转服务器无响应,【转】服务器无响应(或者本地MySQL服务器的套接字没有正确配置)的问题...
服务器无响应(或者本地MySQL服务器的套接字没有正确配置)的问题 第一种情况:(深度清理垃圾导致host.MYD丢失) 跟很多网友一样!用wamp(或xampp.speedphp)可以很容易在自己的 ...
- MySQL/phpmyadmin问题解决手记:#2002 – 服务器没有响应 (或者本地 MySQL 服务器的套接字没有正确配置)
在fedora 12下使用自己从源代码编译的mysql使用,安装过程很麻烦,但好在运行正常. 之前使用windows下mysql/phpmyadmin,到linux下,当然也少不了,整个phpmyad ...
- 正确配置nginx和php
如何正确配置Nginx+PHP 假设用PHP实现了一个前端控制器,或者直白点说就是统一入口:把PHP请求都发送到同一个文件上,然后在此文件里通过解析「REQUEST_URI」实现路由. 此时很多教程会 ...
最新文章
- 哀悼!2007年图灵奖得主Edmund Clarke因感染新冠逝世
- Rafy 框架 - 大批量导入实体
- Jdbc访问mysql查询聚合函数_JDBC连接参数设置对Oracle数据库的影响分析
- 59. Spiral Matrix II ***
- Reuse library debug in Chrome - phase2 handle success response (2)
- 『ACM』ACM模板合集
- python爬虫从入门到精通
- 撰写paper时,如何在word里输入图片或其他文献(PDF)里的公式?(更新时间2022.03.01)
- 未能找到程序集“platform.winmd_应用程序崩溃后 微软错误报告工具到底是如何联机检查解决方案的?...
- vue 编辑弹框,编辑页面,列表数据也会跟着变
- 任秀计算机音乐,重磅丨15家主流媒体聚焦全球音乐院校校长交流季
- 三、RabbitMQ消息发布时的权衡
- unity如何实现图片透视_如何用java实现图片与base64转换
- 读书笔记:Hadoop权威指南 简介
- 锐捷破号破解流程笔记
- 7个引人注目的创新物联网应用
- Django+Vue开发生鲜电商平台之3.数据模型设计和资源导入
- Linux中的configure命令作用,linux系统configure命令详解
- 基于RFID技术的智能门禁系统设计(控制部分)
- java设计模式之状态机模式
热门文章
- 无剑100SOCwujian100挂UART外设之②跑通自带UART
- 智策网认为低估值板块成长性不佳,成长股则估值过高
- iPhone X热销 苹果做了哪些用心良苦的事儿?
- 我的2011--快乐最重要
- 邮箱导航-使用font-awesome实现导航小图标
- 小程序毕设作品之微信预约订座小程序毕业设计(4)开题报告
- MLDEV[15] | pyspark杂记
- rust循环引用问题
- CAUNTLY:为什么人们更喜欢大屏手机
- python画小猪佩奇视频_用 Python 20 秒画完小猪佩奇“社会人”!附效果视频+完整代码...