解读scrapy各个组件中的from

Scrapy 中很多组件都有 from_crawler()方法，下面是我读源码后对 from_crawler()方法的理解，记录下来。

from_crawler() 方法一般用传入的参数来实例化一个对象，比如 scrapy.spider 中的 from_crawler()：

@classmethod
def from_crawler(cls, crawler, *args, **kwargs):    spider = cls(*args, **kwargs)   # 第一步：携带参数实例化这个类spider._set_crawler(crawler)    # 第二步：将 crawler 传递给实例，使新实例有crawler属性和settings参数return spider       # 返回类的实例对象

然后再 scrapy.crawler.Crawler._create_spider() 中调用:

def _create_spider(self, *args, **kwargs):  return self.spidercls.from_crawler(self, *args, **kwargs)

spider 中的 from_crawler() 比较就是最浅显易懂的例子，但也包含最核心的两步：

（1）用携带的参数来实例化类，一般用 cls()；

（2）将crawler 传递给新创建的实例，使新实例有 crawler 的属性和 settings 配置的参数。

各个组件是如何调用 from_crawler()方法的呢？下面以 scheduler 为例子：

scrapy.core.engine.ExecutionEngine.open_spider() 中，调用了 scheduler 的 from_crawler()方法来生成 scheduler

scheduler = self.scheduler_cls.from_crawler(self.crawler)

因为，这是 ExecutionEngine 的方法调用的，所以参数 "self.crawler" 中的 self 是 ExecutionEngine，而 ExecutionEngine 是 scrapy.crawler.Crawler._create_engine() 方法创建的：

# Crawler 中 ExecutionEngine 对象的创建
def _create_engine(self):return ExecutionEngine(self, lambda _: self.stop())  # crawler将self对象传入创建ExecutionEngine

所以传入 from_crawler(self.crawler) 的 self.crawler 就是 scrapy.crawler.Crawler 对象。

总结一下：

from_crawler() 用于根据传入的参数和 crawler 对象来生成 scheduler，使得scheduler有crawler的属性和配置。

解读scrapy各个组件中的from_crawler()方法相关推荐

vuex 在非组件中调用 mutations 方法
版权声明:本文首发 http://asing1elife.com ,转载请注明出处. https://blog.csdn.net/asing1elife/article/details/8265566 ...
Mixins在组件中的使用方法
1.Mixins是什么? Mixins是为Vue组件分发可重用功能的灵活方法.一个Mixin对象可以包含任何组件选项.当组件使用Mixins时,Mixins中的所有选项都将被"混入" ...
Vue3.x 父组件Setup、Ref操纵子组件中的元素方法
目录父组件方法一: defineComponent 方法二: setup语法糖小伙伴们在开箱Vue3的过程中一点会踩到不少坑. 比如很多小伙伴想要通过ref来操纵DOM,可偏偏翻车. 这里分享两 ...
vue(ref父组件使用子组件中定义的方法)
一.前言二.主要内容 1.实现效果(其实可以直接在父组件中操作子组件的显示隐藏,但是这里通过在子组件定义自己的显示隐藏效果,让父组件调用,训练一下这种方式) 2.分析: (1)点击父组件的某一个li ...
vuejs 传参向子组件父组件_VUe.js 父组件向子组件中传值及方法
父组件向子组件中传值 1. Vue实例可以看做是大的组件,那么在其内部定义的私有组件与这个实例之间就出现了父子组件的对应关系. 2. 父子组件在默认的情况下,子组件是无妨访问到父组件中的数据的,所以 ...
访问List的itemRenderer的组件中定义的方法
主程序文件List1.mxml: 1 <?xml version="1.0" encoding="utf-8" ?> 2 <mx:Applic ...
Silverlight 主页与页面用户组件中方法的调用顺序
主页:UseNewUserControlPage.xaml <navigation:Page x:Class="UseUserControl.UseNewUserControlPage ...
vue中的一个子组件如何在父组件中调动另一个子组件中的方法
第一:在子组件通过用绑定事件,来到达父元素(主要通过this.$emit来和父组件达成联系) /*******主要原理跟vuex差不多********/ 1.template部分代码 <temp ...
子组件调用父组件中方法的方法
1.在子组件中用this.$parent.fn()来调用父组件的方法父组件中: <script>export default {methods: {parentFn() {console ...

解读scrapy各个组件中的from_crawler()方法

解读scrapy各个组件中的from_crawler()方法相关推荐

最新文章

热门文章