scrapy框架之shell
scrapy shell
scrapy shell是一个交互式shell,您可以在其中快速调试 scrape 代码,而不必运行spider。它本来是用来测试数据提取代码的,但实际上您可以使用它来测试任何类型的代码,因为它也是一个常规的Python shell。
shell用于测试xpath或css表达式,并查看它们是如何工作的,以及它们从您试图抓取的网页中提取的数据。它允许您在编写spider时交互地测试表达式,而不必运行spider来测试每个更改。
一旦你熟悉了 Scrapy Shell,你就会发现它是开发和调试蜘蛛的宝贵工具。
配置shell
如果你有 IPython 安装后,scrapy shell将使用它(而不是标准的python控制台)。这个 IPython 控制台功能更强大,提供智能自动完成和彩色输出等功能。
通过Scrapy的设置,您可以将其配置为使用 ipython
, bpython
或标准 python
shell,无论安装了什么。这是通过设置 SCRAPY_PYTHON_SHELL
环境变量;或通过在 scrapy.cfg ;
[settings] shell = bpython
启动shell
使用 shell
命令如下:
scrapy shell <url> # <url>是要抓取的url
shell
也适用于本地文件。如果你想玩一个网页的本地副本,这很方便。 shell
了解本地文件的以下语法:
# UNIX-style scrapy shell ./path/to/file.html scrapy shell ../other/path/to/file.html scrapy shell /absolute/path/to/file.html# File URI scrapy shell file:///absolute/path/to/file.html
使用相对文件路径时,请使用 ./
(或) ../
表示文件存储的路径
scrapy shell ./index.html
使用shell
scrappyshell只是一个普通的python控制台(或者 IPython 控制台,如果你有它的话),它提供一些额外的快捷功能,以方便。
可用的快捷方式
shelp() -打印有关可用对象和快捷方式列表的帮助fetch(url[, redirect=True]) - 从给定URL获取一个新的响应,并相应地更新所有相关对象。您可以选择请求HTTP 3xx重定向,以避免传递fetch(request) -从给定的请求中获取新的响应,并相应地更新所有相关对象。view(response) -在本地Web浏览器中打开给定的响应以进行检查。这将增加一个 <base> tag 到响应主体,以便外部链接(如图像和样式表)正确显示。但是请注意,这将在您的计算机中创建一个临时文件,该文件不会自动删除。
可用的srapy对象
Scrapy Shell自动从下载的页面创建一些方便的对象,例如 Response
对象与 Selector
对象(用于HTML和XML内容)。
这些对象是:
crawler
-电流Crawler
对象。spider
-已知用于处理URL的蜘蛛,或Spider
如果没有为当前URL找到spider,则为。request
-ARequest
上次提取的页的对象。您可以使用修改此请求replace()
或者使用fetch
捷径。response
-AResponse
包含上次提取的页的对象settings
- 当前scrapy的配置
Shell会话示例
下面是一个典型的shell会话的例子,我们从抓取https://scrappy.org页面开始,然后继续抓取https://reddit.com页面。最后,我们修改(reddit)请求方法来发布和重新获取它,得到一个错误。我们通过在Windows中键入ctrl-d(在UNIX系统中)或ctrl-z来结束会话。
请记住,在这里提取的数据在您尝试时可能不相同,因为这些页面不是静态的,在您测试时可能已经更改了。这个例子的唯一目的是让您熟悉下脚料外壳的工作原理。
首先,我们发射炮弹:
C:\Users\admin>scrapy shell www.scrapy.org --nolog
然后,shell获取URL(使用scrapy下载器)并打印可用对象和有用快捷方式的列表(您会注意到这些行都以 [s]
前缀):
之后我们开始使用对象:
In [1]: response.xpath('//title/text()').get() # 获取网页title Out[1]: 'Scrapy | A Fast and Powerful Scraping and Web Crawling Framework'In [5]: fetch('https://www.osgeo.cn/scrapy/topics/shell.html') # 切换网址 In [6]: response.xpath('//title//text()').get() # 获取网页title Out[6]: 'Scrapy shell — Scrapy 1.7.0 文档'In [7]: request = request.replace(method='post') # 改变request的请求方式为post In [8]: fetch(request) # 从新请求上面的网址 In [9]: response.status # 响应状态码 Out[9]: 405In [10]: from pprint import pprint # 导入模块pprint In [11]: pprint(response.headers) # 打印请求头 {b'Content-Type': [b'text/html'],b'Date': [b'Sat, 10 Aug 2019 04:08:19 GMT'],b'Server': [b'nginx/1.10.3']}In [12]: pprint(type(response.headers)) # 打印类型 <class 'scrapy.http.headers.Headers'>
从spiders调用shell来检查响应
有时,您希望检查在您的蜘蛛的某个点上正在处理的响应,如果只是检查您期望的响应是否到达那里的话。
这可以通过使用 scrapy.shell.inspect_response
功能。
下面是一个例子,说明如何从您的蜘蛛中命名它:
import scrapyclass MySpider(scrapy.Spider):name = "myspider"start_urls = ["http://example.com","http://example.org","http://example.net",]def parse(self, response):# We want to inspect one specific response.if ".org" in response.url:from scrapy.shell import inspect_responseinspect_response(response, self)# Rest of parsing code.
当你运行蜘蛛时,你会得到类似的东西:
2014-01-23 17:48:31-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.com> (referer: None) 2014-01-23 17:48:31-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.org> (referer: None) [s] Available Scrapy objects: [s] crawler <scrapy.crawler.Crawler object at 0x1e16b50> ...>>> response.url 'http://example.org'
然后,您可以检查提取代码是否工作:
>>> response.xpath('//h1[@class="fn"]') []
不,不是这样的。所以您可以在Web浏览器中打开响应,看看它是否是您期望的响应:
>>> view(response) True
最后,单击ctrl-d(或在Windows中单击ctrl-z)退出shell并继续爬网:
>>> ^D 2014-01-23 17:50:03-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.net> (referer: None) ...
请注意,您不能使用 fetch
这里的快捷方式,因为报废的引擎被shell挡住了。然而,当你离开shell后,蜘蛛会继续在它停止的地方爬行,如上图所示。
示例:
# -*- coding: utf-8 -*- import scrapyclass DowloadTaobaoSpider(scrapy.Spider):name = 'dowload_taobao'allowed_domains = ['www.taobao.com']start_urls = ['http://www.taobao.com/']def parse(self, response):if '.com' in response.url:from scrapy.shell import inspect_responseinspect_response(response,self)
转载于:https://www.cnblogs.com/songzhixue/p/11331141.html
scrapy框架之shell相关推荐
- 爬虫的高阶使用——scrapy框架crawl shell,crawlSpider imagepipeline
一.scrapy shell的使用 在命令行输入scrapy shell "网址名",以百度的域名为例子,需要了解即可,可以打印你想知道的信息 (python38) F:\Spid ...
- 爬虫学习笔记(七)——Scrapy框架(二):Scrapy shell、选择器
一.Scrapy shell scrapy shell的作用是用于调试,在项目目录下输入scrapy shell start_urls (start_urls:目标url)得到下列信息: scrapy ...
- Scrapy框架中的crawlspider爬虫
1 crawlspider是什么 在spider中要寻找下一页的url地址或者内容的url地址,想想是否有简单的方法省略寻找url的过程? 思路: 从response中提取所有的满足规则的url地址 ...
- python 爬虫 学习笔记(一)Scrapy框架入门
沉迷于通过高效算法及经典数据结构来优化程序的时候并不理解,为什么多线程可以优化爬虫运行速度?原来是程序特性所决定的:传统算法的程序复杂度主要来源于计算,但网络程序的计算时间可以忽略不计,网络程序所面临 ...
- Scrapy框架基础使用
1.流程框架 2.在命令行中输入scrapy,会有scrapy常见命令参数 在命令中输入scrapy startproject quote创建一个叫quote的项目 cd到创建好的项目目录中,然后执行 ...
- Python爬虫从入门到放弃(十二)之 Scrapy框架的架构和原理
原文地址https://www.cnblogs.com/zhaof/p/7173397.html 这一篇文章主要是为了对scrapy框架的工作流程以及各个组件功能的介绍 Scrapy目前已经可以很好的 ...
- python的scrapy框架的安装_Python爬虫基础(四)--Scrapy框架的安装及介绍
Scrapy框架的介绍 安装: pip3 install Scrapy 安装测试: cmd命令行界面,输入:scrapy -h 框架安装完成: scrapy框架: 分为五个模块+两个中间件(5+2结构 ...
- 十 web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令
Scrapy框架安装 1.首先,终端执行命令升级pip: python -m pip install --upgrade pip 2.安装,wheel(建议网络安装) pip install whee ...
- Python爬虫-- Scrapy框架
Scrapy框架 Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是事件驱动的,并且比较适合异步的代码.对于会阻塞线程的操作包含访问文件.数据库或者Web.产生新的进程并需要 ...
最新文章
- 2.最详细的WSDD配置文件注释
- 王思聪语录 - CV版
- c#分布式ID生成器
- SQL 遍历父子关系表(二叉树)获得所有子节点 所有父节点
- 转载--How to Install VMware Tools on CentOS 6.3
- ASP.NET的MVC中使用Cookie做身份验证(附代码下载)
- 纪念第一次青海湖之行泡汤
- python波峰波谷算法_波动均分算法
- graal java_使用SparkJava和Graal的本机微服务
- 拼接符 防注入正则校验_Apache Kylin 命令注入漏洞调试分析(CVE-2020-1956)
- qc成果报告范例_质量引领创新 扬子江勇夺医药行业QC“十五连冠”
- 实现文件中名词的统计计数_Python中的统计数据展示
- Levenshtein编辑距离C++实现
- 【ArcGIS|空间分析|网络分析】4 查找最近的消防站
- python爬虫-破解验证码(封装超级鹰实现)
- QTcpServer. QTcpSocket. QUdpSocket之间的区别
- MacBook Pro 开机密码忘记解决方法
- 用GetGlyphOutline搞字模
- Vue实现百度地图并添加热力图(附源码)
- opencv之图像平移
热门文章
- 2022年,我不允许任何人还没有免费图床系统
- Android之人脸识别
- 2021年计算机类 人工智能 软件SCI一区期刊
- “黎明号”(Dawn)深空航天器与高效离子引擎
- (附源码)springboot 新闻管理系统 毕业设计 211113
- [附源码]计算机毕业设计JAVA社区生鲜电商平台
- html英文读法,HTML格式,html format,音标,读音,翻译,英文例句,英语词典
- 线上应用遇到了oom killer
- 和python哪个容易胖_碳水化合物,脂肪和蛋白质,到底吃哪个更容易胖?
- ChatGPT翻译怎么样-ChatGPT批量翻译工具软件