Scarpy源码分析6

2021SC@SDUSC

回到 engine 的 open_spider 方法，这个时候 slot 相关的初始化以及启动，我们应该大致能理解了。后面依次启动了 scraper 和 crawler.stats，需要注意的是 downloader 是在 engine 刚创建的时候就已经初始化好了。另外，当这些都初始化好后，engine 发出了 spider_opened 信号。

前面我们提到过 _next_request 多次，我们顺着这个方法跟下去。

# scrapy/core/engine.pyclass ExecutionEngine(object):# ...def _next_request(self, spider):# ...while not self._needs_backout(spider):if not self._next_request_from_scheduler(spider):breakif slot.start_requests and not self._needs_backout(spider):try:request = next(slot.start_requests)except StopIteration:# ...else:self.crawl(request, spider)if self.spider_is_idle(spider) and slot.close_if_idle:self._spider_idle(spider)

这个方法主要是做 2 个事情

从 scheduelr 中获取请求并下载，涉及方法 _next_request_from_scheduler
从 spider 初始请求中获取请求加入 scheduler，涉及方法 crawl

先看后者 crawl

class ExecutionEngine(object):# ...def crawl(self, request, spider):assert spider in self.open_spiders, \"Spider %r not opened when crawling: %s" % (spider.name, request)self.schedule(request, spider)self.slot.nextcall.schedule()def schedule(self, request, spider):self.signals.send_catch_log(signal=signals.request_scheduled,request=request, spider=spider)if not self.slot.scheduler.enqueue_request(request):self.signals.send_catch_log(signal=signals.request_dropped,request=request, spider=spider)

就是调用了 schedule 然后触发下一次 _next_request。schedule 中发出 request_scheduled 信号后，将请求加入 scheduler 的队列，之后又发出 request_dropped 信号。

再看前者 _next_request_from_scheduler

class ExecutionEngine(object):# ...def _next_request_from_scheduler(self, spider):slot = self.slotrequest = slot.scheduler.next_request()if not request:returnd = self._download(request, spider)d.addBoth(self._handle_downloader_output, request, spider)d.addErrback(lambda f: logger.info('Error while handling downloader output',exc_info=failure_to_exc_info(f),extra={'spider': spider}))d.addBoth(lambda _: slot.remove_request(request))d.addErrback(lambda f: logger.info('Error while removing request from slot',exc_info=failure_to_exc_info(f),extra={'spider': spider}))d.addBoth(lambda _: slot.nextcall.schedule())d.addErrback(lambda f: logger.info('Error while scheduling new request',exc_info=failure_to_exc_info(f),extra={'spider': spider}))

主要做了这么几件事

从 scheduler 中获取下一个请求，没有则退出
下载请求，将请求加入 slot 的 inprogress 集合中，涉及方法 _download
下载完成后，将响应放到 scraper 中，涉及方法 _handle_downloader_output
下载完成后，将请求从 slot 的 inprogress 集合中移除
下载完成，触发下一次 _next_request

看下 _download

class ExecutionEngine(object):# ...def _download(self, request, spider):slot = self.slotslot.add_request(request)def _on_success(response):assert isinstance(response, (Response, Request))if isinstance(response, Response):response.request = request # tie request to response receivedlogkws = self.logformatter.crawled(request, response, spider)logger.log(*logformatter_adapter(logkws), extra={'spider': spider})self.signals.send_catch_log(signal=signals.response_received, \response=response, request=request, spider=spider)return responsedef _on_complete(_):slot.nextcall.schedule()return _dwld = self.downloader.fetch(request, spider)dwld.addCallbacks(_on_success)dwld.addBoth(_on_complete)return dwld

将请求加入 slot 的 inprogress 集合
调用 downloader 的 fetch 方法，具体做了些什么后面会分析
下载成功后，打印成功日志，并发送 response_received 信号
下载成功或者失败后，都会触发下一次 _next_request

Scarpy源码分析6相关推荐

【Golang源码分析】Go Web常用程序包gorilla/mux的使用与源码简析
目录[阅读时间:约10分钟] 一.概述二.对比: gorilla/mux与net/http DefaultServeMux 三.简单使用四.源码简析 1.NewRouter函数 2.HandleF ...
SpringBoot-web开发(四): SpringMVC的拓展、接管（源码分析）
[SpringBoot-web系列]前文: SpringBoot-web开发(一): 静态资源的导入(源码分析) SpringBoot-web开发(二): 页面和图标定制(源码分析) SpringBo ...
SpringBoot-web开发(二): 页面和图标定制(源码分析)
[SpringBoot-web系列]前文: SpringBoot-web开发(一): 静态资源的导入(源码分析) 目录一.首页 1. 源码分析 2. 访问首页测试二.动态页面 1. 动态资源目录t ...
SpringBoot-web开发(一): 静态资源的导入(源码分析)
目录方式一:通过WebJars 1. 什么是webjars? 2. webjars的使用 3. webjars结构 4. 解析源码 5. 测试访问方式二:放入静态资源目录 1. 源码分析 2. 测 ...
Yolov3Yolov4网络结构与源码分析
Yolov3&Yolov4网络结构与源码分析从2018年Yolov3年提出的两年后,在原作者声名放弃更新Yolo算法后,俄罗斯的Alexey大神扛起了Yolov4的大旗. 文章目录论文汇总 ...
ViewGroup的Touch事件分发(源码分析)
Android中Touch事件的分发又分为View和ViewGroup的事件分发,View的touch事件分发相对比较简单,可参考 View的Touch事件分发(一.初步了解) View的Touch事 ...
View的Touch事件分发(二.源码分析)
Android中Touch事件的分发又分为View和ViewGroup的事件分发,先来看简单的View的touch事件分发. 主要分析View的dispatchTouchEvent()方法和onTou ...
MyBatis原理分析之四：一次SQL查询的源码分析
上回我们讲到Mybatis加载相关的配置文件进行初始化,这回我们讲一下一次SQL查询怎么进行的. 准备工作 Mybatis完成一次SQL查询需要使用的代码如下: Java代码 String res ...
[转]slf4j + log4j原理实现及源码分析
slf4j + log4j原理实现及源码分析转载于:https://www.cnblogs.com/jasonzeng888/p/6051080.html
Spark源码分析之七：Task运行（一）
在Task调度相关的两篇文章<Spark源码分析之五:Task调度(一)>与<Spark源码分析之六:Task调度(二)>中,我们大致了解了Task调度相关的主要逻辑,并且在T ...

Scarpy源码分析6

Scarpy源码分析6相关推荐

最新文章

热门文章