Python爬虫之Scrapy框架的下载器中间件

基本介绍

下载器中间键可以为我们设置多个代理ip与请求头，达到反反爬虫的目的

下面是scrapy为我们创建好的中间件的类

下面是中间件中的下载器函数，我们主要在这个函数里面进行操作

Process_request(self,request,spider)

参数

request:发送请求的request对象

spider:发送请求的spider对象
此方法若返回None，Scrapy将继续处理此Request，直到其他下载器中间件被调用
此方法若返回Response对象：不再返回下载器，直接返回给引擎
返回Request对象：使用现在返回的Request

图解

Process_response(self,request,response,spider):

参数

request: request对象

response:被处理的response对象

返回值

返回response对象：会将这个对象按序传给其他中间件，最终经过引擎给到爬虫

返回request对象：下载器链接切断，返回的request重新被下载器调度，最终经过引擎给到爬虫

返回request对象：下载器链接切断，返回的request重新被下载器调度

##中间件应用

设置随机请求头

Python系列CSDN博客地址：

如需更系统学习，下面是博主关于Python爬虫的系列学习博客

Python3爬虫入门（快速简易）
Python3爬虫系列之urllib库
Python3爬虫之request库
Python3爬虫之XPath语法和lxml模块
Python3爬虫之数据存储
Python3爬虫之Scrapy框架入门
Python3爬虫入门案例Scrapy爬取传智讲师个人信息
Python3爬虫之Scrapy框架模拟登陆人人网
Python3爬虫之Scrapy框架的下载器中间件
Python3反反爬虫之Scrapy设置随机请求头

Python3爬虫之Scrapy框架的下载器中间件相关推荐

scrapy中的下载器中间件
下载中间件下载器中间件是介于Scrapy的request/response处理的钩子框架. 是用于全局修改Scrapy request和response的一个轻量.底层的系统. 编写下载器中间件 1 ...
python中scrapy加请求头_Python爬虫之scrapy框架随机请求头中间件的设置
方法一,定义一个存放请求头的列表,并从中随机获取请求头: 获取请求头的网址http://www.useragentstring.com/pages/useragentstring.php?name=A ...
Python3 爬虫之 Scrapy 核心功能实现（二）
博客地址:http://www.moonxy.com 基于 Python 3.6.2 的 Scrapy 爬虫框架使用,Scrapy 的搭建过程请参照本人的另一篇博客:Python3 爬虫之 Scrap ...
python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例
一.Scrapy框架简介 Scrapy是:由Python语言开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据,只需要实现少量的代码,就能够快速的抓取. S ...
Python爬虫—Scrapy框架—Win10下载安装
Python爬虫-Scrapy框架-Win10下载安装 1. 下载wheel 2.下载twisted 3. 下载pywin32 4. 下载安装Scrapy 5. 创建一个scrapy项目 6. fir ...
python_爬虫 21 Scrapy框架之（七）下载中间件
目录 Downloader Middlewares(下载器中间件) 一.process_request(self, request, spider) 二.process_response(self, ...
Scrapy 下载器中间件(Downloader Middleware)
Scrapy 下载器中间件官方文档:https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/downloader-middleware.html 官方英 ...
Scrapy 2.6 Downloader Middleware 下载器中间件使用指南
Python3 的 Scrapy 爬虫框架中数据爬取过程中的下载器中间件是一个挂钩 Scrapy 的请求/响应处理的框架.是一个轻量级的低级系统并且应用于全局更改 Scrapy 的请求和响应. 其主 ...
爬虫之Scrapy框架
文章目录 1. Scrapy 介绍 2. 基础使用 2.1 安装 2.2 创建项目 2.3 目录介绍 2.4 创建爬虫 2.5 运行爬虫 3. scrapy 解析数据 4. settings 相关配置 ...

Python3爬虫之Scrapy框架的下载器中间件