scrapy组件、中间件、spider中类方法from

@classmethod
def from_crawler(cls, crawler, *args, **kwargs):spider = cls(*args, **kwargs)spider._set_crawler(crawler)return spider

cls代表这个类，因此，以下是用给定的参数创建了一个cls类的实例spider。参数会经过__init__方法，因为实例需要初始化。

spider = cls(*args, **kwargs)

设置spider实例的crawler属性

spider._set_crawler(crawler)

返回实例

return spider

crawler属性在初始化class后,由类方法 from_crawler设置, 并且链接了本spider实例对应的Crawl对象。Crawler包含了很多项目中的组件,作为单一的入口点 (例如插件,中间件,信号管理器等).可以查看Crawler API

from_crawler用于实例化某个对象（中间件，模块），常常出现在对象的初始化，负责提供crawler.settings

这是一个类方法，scrapy创建spider的时候会调用。调用位置在crawler.py 的类Crawler中。这个方法的源码在上面，我们可以看到，在实例化这个spider以后，这个实例才有的settings和crawler属性，所以在__init__方法中是没法访问这俩属性的。如果非要在__init__方法中使用相关属性，那么只能重写该方法，大家可以尝试写写。

重写这个类方法需要注意的几点：

需要返回一个实例对象
返回实例对象括号里面的参数，是会进入初始化方法__init__的

如：当我们需要通过scrapy crawl spidername -a NAME=VALUE进行传递参数时，需要以下这种写法

class MySpider(scrapy.Spider):def __init__(self, parms=None, *args, **kwargs):super(MySpider, self).__init__(*args, **kwargs)

但是，当通过命令scrapy crawl spidername -a parms=value的时候，会出现参数传不进来的情况，那是因为继承scrapy.Spider的时候重写了from_crawler类方法了

@classmethod
def from_crawler(cls, crawler):settings = crawler.settingsreturn cls()

重写时没有将__init__需要的参数传过去，因为scrapy crawl spidername -a parms=value命令会通过from_crawler创建spider，所以需要返回对应的参数给__init__初始化方法

@classmethod
def from_crawler(cls, crawler):settings = crawler.settingsreturn cls(*args, **kwargs)

欢迎关注公众号：日常bug，每天写至少一篇技术文章，每天进步一点点。

scrapy组件、中间件、spider中类方法from_crawler的作用相关推荐

scrapy下载中间件(downloader middleware)和蜘蛛中间件(spider middleware)
scrapy组件首先我们看下scrapy官网提供的新结构图,乍一看这画的是啥啊,这需要你慢慢的理解其原理就很容易看懂了,这些都是一个通用爬虫框架该具有的一些基本组件.上一篇博客说了项目管道(也就是图 ...
Scrapy 框架中间件，信号，定制命令
中间件下载器中间件写中间件 from scrapy.http import HtmlResponse from scrapy.http import Requestclass Md1(object ...
彻底搞懂 Scrapy 的中间件
彻底搞懂Scrapy的中间件(一):https://www.cnblogs.com/xieqiankun/p/know_middleware_of_scrapy_1.html 彻底搞懂Scrapy的中 ...
python pipeline框架_爬虫(十六)：Scrapy框架(三) Spider Middleware、Item Pipeline|python基础教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ 1. Spider Middleware Spider Middleware是介入到Scrapy的Spid ...
scrapy 下载中间件
文章目录 Downloader Middlewares(下载中间件) process_request(self,request,spider) process_response(self,reques ...
Scrapy的中间件（一）
中间件是Scrapy里面的一个核心概念.使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改,从而开发出适应不同情况的爬虫. "中间件"这个中文名字和前面章节讲到 ...
爬虫框架scrapy之中间件
中间件是Scrapy里面的一个核心概念.使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改,从而开发出适应不同情况的爬虫. "中间件"这个中文名字和前面章节讲到 ...
彻底搞懂Scrapy的中间件（一）
中间件是Scrapy里面的一个核心概念.使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改,从而开发出适应不同情况的爬虫. "中间件"这个中文名字和前面章节讲到 ...
爬虫scrapy框架中间件的使用
1. scrapy中间件的分类和作用 1.1 scrapy中间件的分类根据scrapy运行流程中所在位置不同分为:[中间件离哪个模块近就称为什么中间件] 下载中间件爬虫中间件 1.2 scrapy ...

scrapy组件、中间件、spider中类方法from_crawler的作用

scrapy组件、中间件、spider中类方法from_crawler的作用相关推荐

最新文章

热门文章