Scrapy 源代码分析系列－2 signals, signalmanager, project, conf

1. 模块: signals.py signalmanager.py project.py conf.py

1.1 conf.py project.py

conf.py 是废弃的模块。她的功能由crawler.settings代替。来自conf.py的代码如下:

1 if 'scrapy.cmdline' not in sys.modules:
2     from scrapy.utils.project import get_project_settings
3     settings = get_project_settings()
4
5 import warnings
6 from scrapy.exceptions import ScrapyDeprecationWarning
7 warnings.warn("Module `scrapy.conf` is deprecated, use `crawler.settings` attribute instead",
8     ScrapyDeprecationWarning, stacklevel=2)

project.py 也是被废弃的模块。

1.2 interfaces.py

interfaces.py 定义了接口ISpiderManager, 接口方法如下:

def create(spider_name, **spider_args): 创建一个新的Spider对象。

def list(): 返回project中所有的spider。

def find_by_request(request): 处理request的sipder列表

该模块依赖: zope.interface (zope.interface), 关于该库另外进行分析。

1.3 signals.py signalmanager.py

signals.py 定义了一系列object类型的对象。

signalmanager.py 定义类SignalManager来管理signal。该类依赖 dispatcher 和 signal:

1 from scrapy.xlib.pydispatch import dispatcher
2 from scrapy.utils import signal

那么需要分析子包: scrapy.xlib

To Be Continued:

接下来分析模块: item.py link.py linkextractor.py log.py logformatter.py exceptions.py extension.py

转载于:https://www.cnblogs.com/cwgk/p/4649154.html

Python.Scrapy.12-scrapy-source-code-analysis-part-2相关推荐

Android Bluedroid source code analysis
Android Bluedroid source code analysis 图1:应用层到协议层 Android的bt整体结构如图1所示: 应用层:使用蓝牙协议的各种应用,例如:蓝牙电话.音乐等. ...
python报错：source code string cannot contain null bytes
各位,python建数据集时报错如下,各位可有何良策,已经检查文件中没有空字符,再导入时却有. ValueError Traceback (most recent call last) in ---- ...
Setting up Pytorch with Python 3 on Ubuntu(Source code compilation)
1.安装yaml依赖:sudo apt-get install python-yaml python3-yaml 2.git clone pytorch 源码: git clone https://g ...
python数据分析案例2-1：Python练习-Python爬虫框架Scrapy入门与实践
本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作). 主要介绍: 1.scrapy框架简介.数据在框架内如 ...
python 爬虫实例-Python 爬虫：Scrapy 实例（二）
原标题:Python 爬虫:Scrapy 实例(二) 稍微增加点难度,做个所需项目多一点的,并将的结果以多种形式保存起来.我们就从网络天气预报开始. 首先要做的是确定网络天气数据的来源.打开百度,搜索 ...
python爬虫之Scrapy(一)
文章目录 scrapy框架安装创建一个scrapy项目终端工具命令 scrapy框架安装 pip install scrapy 创建一个scrapy项目 scrapy startproject ...
18.Python爬虫之Scrapy框架
scrapy 框架 01. Scrapy 链接 02. Scrapy 的爬虫流程 03. Scrapy入门 04. setting.py文件中的常用设置 4.1. logging模块的使用 4.2. ...
python代码案例详解-新手必学Python爬虫之Scrapy框架案例详解
Scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛. 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内 ...
Python 框架之 Scrapy 爬虫（二）
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了页面抓取 (更确切来说, 网络抓取)所设计的, 也可以应 ...
python爬虫之scrapy初试与抓取链家成交房产记录
接上一篇文章,本机安装好python之后和scrapy之后,我们开始学习使用scrapy创建爬虫程序. 今天先来点简单的,不那么复杂,先看看抓取链家网里面的房价信息. 首先使用CMD命令行进入F盘创建 ...

Python.Scrapy.12-scrapy-source-code-analysis-part-2