框架下载_25. Scrapy 框架-下载中间件Middleware
1. Spider 下载中间件(Middleware)
Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架,您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request
2. 激活一个下载DOWNLOADER_MIDDLEWARES
要激活一个下载器中间件组件,将其添加到 DOWNLOADER_MIDDLEWARES
设置中,该设置是一个字典,其键是中间件类路径,它们的值是中间件命令
该DOWNLOADER_MIDDLEWARES
设置与DOWNLOADER_MIDDLEWARES_BASEScrapy
中定义的设置(并不意味着被覆盖)合并, 然后按顺序排序,以获得最终的已启用中间件的排序列表:第一个中间件是靠近引擎的第一个中间件,最后一个是靠近引擎的中间件到下载器。换句话说,process_request()
每个中间件的方法将以增加中间件的顺序(100,200,300,...)process_response()
被调用,并且每个中间件的方法将以降序调用
要决定分配给中间件的顺序,请参阅 DOWNLOADER_MIDDLEWARES_BASE
设置并根据要插入中间件的位置选择一个值。顺序很重要,因为每个中间件都执行不同的操作,而您的中间件可能依赖于之前(或后续)正在使用的中间件
如果要禁用内置中间件(DOWNLOADER_MIDDLEWARES_BASE
默认情况下已定义和启用的中间件 ),则必须在项目DOWNLOADER_MIDDLEWARES
设置中定义它,并将“ 无” 作为其值。例如,如果您要禁用用户代理中间件
最后,请记住,某些中间件可能需要通过特定设置启用
3. 编写你自己的下载中间件
每个中间件组件都是一个Python类,它定义了一个或多个以下方法
class scrapy.downloadermiddlewares.DownloaderMiddleware
任何下载器中间件方法也可能返回一个延迟
3.1 process_request(self, request, spider)
当每个request通过下载中间件时,该方法被调用
process_request()必须返回其中之一
- 返回 None
- Scrapy 将继续处理该 request,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler)被调用,该 request 被执行(其 response 被下载)
- 返回一个 Response 对象
- Scrapy 将不会调用 任何 其他的 process_request()或 process_exception()方法,或相应地下载函数; 其将返回该 response。已安装的中间件的 process_response()方法则会在每个 response 返回时被调用
- 返回一个 Request 对象
- Scrapy 则停止调用 process_request 方法并重新调度返回的 request。当新返回的 request 被执行后, 相应地中间件链将会根据下载的 response 被调用
- raise IgnoreRequest
- 如果抛出 一个 IgnoreRequest 异常,则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常, 则 request 的 errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)
参数:
- request (Request 对象) – 处理的request
- spider (Spider 对象) – 该request对应的spider
3.2 process_response(self, request, response, spider)
当下载器完成http请求,传递响应给引擎的时候调用
- process_request() 必须返回以下其中之一: 返回一个 Response 对象、 返回一个 Request 对象或raise一个 IgnoreRequest 异常
- 如果其返回一个 Response (可以与传入的response相同,也可以是全新的对象), 该response会被在链中的其他中间件的 process_response() 方法处理。
- 如果其返回一个 Request 对象,则中间件链停止, 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。
- 如果其抛出一个 IgnoreRequest 异常,则调用request的errback(Request.errback)。 如果没有代码处理抛出的异常,则该异常被忽略且不记录(不同于其他异常那样)。
- 参数:
- request (Request 对象) – response所对应的request
- response (Response 对象) – 被处理的response
- spider (Spider 对象) – response所对应的spider
4 使用代理
写一个spider测试
框架下载_25. Scrapy 框架-下载中间件Middleware相关推荐
- 【Python笔记】网络爬虫——常用框架介绍以及 Scrapy 框架使用
网络爬虫开发常用框架 Scrapy 爬虫框架 Crawley 爬虫框架 PySpider 爬虫框架 Scrapy 爬虫框架的使用 搭建 Scrapy 爬虫框架 1. 安装 Twisted 模块 2. ...
- Scrapy 框架介绍 [Scrapy 框架概述][Scrapy 框架的特点][Scrapy 框架的架构概述]
您的"关注"和"点赞",是信任,是认可,是支持,是动力- 如意见相佐,可留言. 本人必将竭尽全力试图做到准确和全面,终其一生进行修改补充更新. 文章目录 1 S ...
- python中scrapy框架_python的scrapy框架
scrapy是python中数据抓取的框架.简单的逻辑如下所示 scrapy的结构如图所示,包括scrapy engine.scheduler.downloader.spider.item pipel ...
- scrapy框架_入门Scrapy框架看这一篇文章就够了
前言 Scrapy是一个非常优秀的框架,操作简单,拓展方便,是比较流行的爬虫解决方案. Scrapy是一个用Python写的Crawer Framework,简单轻巧而且非常方便.Scrapy使用Tw ...
- scrapy框架_Python:Scrapy框架
" Scrapy是一个适用爬取网站数据.提取结构性数据的应用程序框架,它可以应用在广泛领域:Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.通常我们可以很简单的通 ...
- scrapy爬虫之中间件Middleware
设置随机请求头 spider class MiddlewSpider(scrapy.Spider):name = 'middlew'allowed_domains = ['exercise.kingn ...
- Scrapy框架下载图片(站酷网下载图片)
Scrapy框架下载图片 下载图片 Scrapy框架下载文件(包括图片有自己一套解决方案,比我们直接使用urlretriever更加有优势) 避免重新下载最近下载过的文件 可以方便的指定文件存储路径 ...
- 爬虫 第六讲 Scrapy框架
文章目录 爬虫 第六讲 Scrapy框架 一.Scrapy框架 Scrapy简介 工作流程 Scrapy入门 pipline使用 1.scrapy.Request知识点 2.item的介绍和使用 3. ...
- 网络爬虫学习(三)-scrapy框架
目录 一 Scrapy框架简介 二 scrapy框架的基本使用 1) 环境的安装 2)基础命令 3)项目组成: 4)创建爬虫文件: 5)scrapy架构组成 6) 五大核心组件 7)srapy工作 ...
最新文章
- 选择排序-直接选择排序
- Android 图片透明度处理代码
- 【Groovy】集合声明与访问 ( 使用 [] 创建 ArrayList 和 LinkedList 集合 | 集合赋初值 | 使用下标访问集合 | 使用 IntRange 作为下标访问集合 )
- android 退出应用没有走ondestory方法,Android退出应用最优雅的方式(改进版)
- 成都睿铂 | 落差区域无人机倾斜摄影航线的规划要点
- javascript图片隐写术,感觉可以用它来干点有想法的事情
- maya python 游戏与影视编程指南_Maya Python 游戏与影视编程指南
- python爬取高考各高校分数线查询_python 爬虫 爬取高考录取分数线 信息
- SQL 删除重复数据,重复数据只保留ID最小的行
- html怎么用pdf保存,html保存为PDF
- C语言自学-简单的记录
- 【模拟电路知识】运算放大器没有反馈电路——做电压比较器应用
- ubuntu 14.04 安装minidwep-gtk
- Mac Mini换固态硬盘
- IAR for MSP430 7.12.1下载
- 牛客竞赛语法入门班选择结构习题C++版本参考代码及部分解析
- Visual Studio完成并换行快捷键
- Hazelcast IMDG参考中文版手册-第三章-概述
- FFplay文档解读-47-多媒体过滤器一
- RAC环境备份归档日志和恢复数据库方法