scrapy 架构文档

这是中文文档网址

https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/architecture.html

英文文档 https://doc.scrapy.org/en/latest/topics/architecture.html

scrapy各部分之间的数据流向是如何交互：

1>引擎将起始url构造成Request交给调度器；

2>调度器对Request对象生成指纹信息，根据是否去重来决定是否将Request放入队列中；

3>引擎从调度器的队列中不断得获取下一个Request请求；

4>引擎将Request请求交给下载器Downloader进行下载，期间会经过下载器中间件process_request的处理；

5>下载器下载完成以后，经过process_response将Response对象返回给引擎；

6>引擎将Response对象交给爬虫Spider进行解析，提取数据，期间经过爬虫中间件；

7>爬虫Spider将提取的结果传递给引擎，引擎将item交给管道，将Request对象交给调度器继续调度；

DownoadMiddleware的作用：

下载器中间件，可以在发起请求之前对Request对象添加必要得信息，比如请求头，Cookie等。

自定义：

需要实现process_request()函数和process_response()函数。

ItemPipeline的作用：

对爬虫解析出来得item对象进行数据得保存。

自定义：process_item()函数。

scrapy 架构文档相关推荐

uml具有多种视图_UML建模与架构文档化
UML(统一建模语言) 是用元模型描述的,元模型是4层元模型体系结构模式中的一层.此模式的其他层次分别是元-元模型层.模型层和用户对象层. 在原模型层,UML元模型又被分解为三个子逻辑包:基础包(核 ...
[转]OpenContrail 体系架构文档
OpenContrail 体系架构文档英文原文:http://opencontrail.org/opencontrail-architecture-documentation/ 翻译者:@KkBLu ...
脚本文档_创建完美的架构文档脚本
脚本文档描述 (Description) System views allow us to gain access to information about any objects within S ...
Spring架构文档：程序员（工程师）的圣经
圣经作为一名工程师,尤其是服务端工程师,在Spring架构大行其道的时候,只有熟悉Spring的架构,才能有未来啊! 一.Spring的架构文档 Spring的架构文档这个有空的时候,多读读!
(软考笔记) —— 系统架构设计师 - UML建模与架构文档化
文章目录 UML建模与架构文档化 UML 现状与发展 UML起源 UML 体系结构演变 UML 的应用与未来 UML基础概述用例和用例图交互图类图和对象图状态和活动图状态图活动图构件图 ...
ONF组织的SDN架构文档——概述（一）
1.适用范围这个文档描述了SDN架构.文档的目的是为ONF工作组未来的工作做详细指导和说明,同时也可以作为ONF对外交流的一个参考文档.它的姊妹文档(框架文档)描述了ONF想要达到的设计目标.此文档 ...
ONF组织的SDN架构文档——原理与架构构件（二/二）
4.4应用层图4.4扩展了图3.3中SDN架构里的SDN application块. SDN原则允许应用在业务和策略允许的前提下指定需要的网络资源和行为.从SDN到应用程序层的接口叫做A-CPI.图 ...
京东资深架构师教你搭建高可用高并发系统，亿级流量核心架构文档
由于细节内容实在太多啦,所以只把部分知识点截图出来粗略的介绍,每个小节点里面都有更细化的内容! 整理了一份亿级流量网站架构核心技术.覆盖了高可用.高并发.隔离.限流.负载均衡与反向代理.多级缓存.应用 ...
架构训练营作业三-外包学生管理系统的架构文档
1. 业务背景随着学校的规模的不断扩大,学生数量的增加,需要处理的信息也日趋增大.不仅花费大量的教师资源, 处理效率也十分低下. 为解决学生管理问题,同时尽可能降低管理成本,从学校管理现状出发,从而 ...
AIGC席卷智慧办公，金山办公如何架构文档智能识别与理解的通用引擎？
如今,智慧办公是企业办公领域数字化转型的题中之义.作为国内最早开发的软件办公系统之一,金山办公如何应用深度学习实现复杂场景文档图像识别和技术理解?本文将从复杂场景文档的识别与转化.非文本元素检测与文字 ...

scrapy 架构文档

scrapy 架构文档相关推荐

最新文章

热门文章