Python爬虫：Scrapy的Crawler对象及扩展Extensions和信号Signals

先了解Scrapy中的Crawler对象体系

Crawler对象

settings crawler的配置管理器
- set(name, value, priority=‘project’)
- setdict(values, priority=‘project’)
- setmodule(module, priority=‘project’)
- get(name, default=None)
- getbool(name, default=False)
- getint(name, default=0)
- getfloat(name, default=0.0)
- getlist(name, default=None)
- getdict(name, default=None)
- copy() # 深拷贝当前配置
- freeze()
- frozencopy()
signals crawler的信号管理器
- connect(receiver, signal)
- send_catch_log(signal, **kwargs)
- send_catch_log_deferred(signal, **kwargs)
- disconnect(receiver, signal)
- disconnect_all(signal)
stats crawler的统计信息收集器
- get_value(key, default=None)
- get_stats()
- set_value(key, value)
- set_stats(stats)
- inc_value(key, count=1, start=0)
- max_value(key, value)
- min_value(key, value)
- clear_stats()
- open_spider(spider)
- close_spider(spider)
extensions 扩展管理器，跟踪所有开启的扩展
engine 执行引擎，协调crawler的核心逻辑，包括调度，下载和spider
spider 正在爬取的spider。该spider类的实例由创建crawler时所提供
crawl(*args, **kwargs) 初始化spider类，启动执行引擎，启动crawler

Scrapy内置信号

engine_started   # 引擎启动
engine_stopped  # 引擎停止
spider_opened   # spider开始
spider_idle  # spider进入空闲(idle)状态
spider_closed  # spider被关闭
spider_error  # spider的回调函数产生错误
request_scheduled    # 引擎调度一个 Request
request_dropped   # # 引擎丢弃一个 Request
response_received   # 引擎从downloader获取到一个新的 Response
response_downloaded  # 当一个 HTTPResponse 被下载
item_scraped   # item通过所有 Item Pipeline 后，没有被丢弃dropped
item_dropped  #   DropItem丢弃item

以下代码实现一个简单的扩展 + 信号，功能是统计没有处理的item数量和丢弃的item数量
myextension.py


from scrapy import signals
from scrapy.exceptions import NotConfiguredclass SpiderOpenCloseLogging(object):def __init__(self):self.items_scraped = 0self.items_dropped = 0@classmethoddef from_crawler(cls, crawler):# 读取settings配置信息，检查是否启动扩展，没有启用则抛出异常，扩展被禁用if not crawler.settings.getbool('MY_EXTENSION'):raise NotConfigured# 实例化扩展对象ext = cls()# 注册信号处理函数crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)crawler.signals.connect(ext.item_scraped, signal=signals.item_scraped)crawler.signals.connect(ext.item_dropped, signal=signals.item_dropped)return ext# 自定义的3个信号处理函数def spider_opened(self, spider):spider.log(">>> opened spider %s" % spider.name)def spider_closed(self, spider, reason):spider.log(">>> closed spider %s" % spider.name)spider.log(">>>scraped %d items" % self.items_scraped)spider.log(">>>dropped %d items" % self.items_dropped)# 获取状态收集器信息print(spider.crawler.stats.get_stats())def item_scraped(self, item, response, spider):self.items_scraped += 1def item_dropped(self, item, response, exception, spider):self.items_dropped += 1

启用扩展 settings.py

EXTENSIONS = {"scrapys.myextension.SpiderOpenCloseLogging": 100
}MY_EXTENSION = True

baidu_spider.py


from scrapy import Spider, cmdline
from scrapy_demo.scrapys.items import ScrapysItemclass BaiduSpider(Spider):name = "baidu_spider"start_urls = ["https://www.baidu.com/"]def parse(self, response):self.crawler.stats.set_value("key", "value")return ScrapysItem()if __name__ == '__main__':cmdline.execute("scrapy crawl baidu_spider".split())

item.py中新建item对象

import scrapyclass ScrapysItem(scrapy.Item):pass

最后扩展中调用spider.crawler.stats.get_stats(),可以查看爬虫运行后的信息，打印出的信息和每次爬虫运行完的信息一样，而且是一个字典对象，可以对这些数据进行获取

{
'log_count/INFO': 7,
'start_time': datetime.datetime(2018, 11, 13, 2, 22, 15, 596577),
'log_count/DEBUG': 6,
'memusage/startup': 47587328,
'memusage/max': 47587328,
'scheduler/enqueued/memory': 1,
'scheduler/enqueued': 1,
'scheduler/dequeued/memory': 1,
'scheduler/dequeued': 1,
'downloader/request_count': 1,
'downloader/request_method_count/GET': 1,
'downloader/request_bytes': 212,
'downloader/response_count': 1,
'downloader/response_status_count/200': 1,
'downloader/response_bytes': 1511,
'response_received_count': 1,
'key': 'value', 'log_count/WARNING': 1,
'item_dropped_count': 1,
'item_scraped_count': 0,
'item_dropped_reasons_count/DropItem': 1,
'finish_time': datetime.datetime(2018, 11, 13, 2, 22, 16, 113701),
'finish_reason': 'finished'}

参考

扩展(Extensions)

内置信号参考手册(Built-in signals reference)

数据收集(Stats Collection)

Python爬虫：Scrapy的Crawler对象及扩展Extensions和信号Signals相关推荐

python爬虫--Scrapy框架--Scrapy+selenium实现动态爬取
python爬虫–Scrapy框架–Scrapy+selenium实现动态爬取前言本文基于数据分析竞赛爬虫阶段,对使用scrapy + selenium进行政策文本爬虫进行记录.用于个人爬虫学习记 ...
Python爬虫——Scrapy 简介和安装
文章目录 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 2.Scrapy 下载安装 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 Scrapy 简介 S ...
Python爬虫——Scrapy 的基本使用
文章目录 Python爬虫--Scrapy 的基本使用 1.创建 Scrapy 爬虫项目 2.Scrapy-创建爬虫文件 3.Scrapy-运行爬虫文件 Python爬虫--Scrapy 的基本使用 ...
Python爬虫—Scrapy框架—Win10下载安装
Python爬虫-Scrapy框架-Win10下载安装 1. 下载wheel 2.下载twisted 3. 下载pywin32 4. 下载安装Scrapy 5. 创建一个scrapy项目 6. fir ...
Python爬虫 - scrapy - 爬取妹子图 Lv1
0. 前言这是一个利用python scrapy框架爬取网站图片的实例,本人也是在学习当中,在这做个记录,也希望能帮到需要的人.爬取妹子图的实例打算分成三部分来写,尝试完善实用性. 系统环境 Sys ...
Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
这篇文章主要介绍了Python爬虫 scrapy框架爬取某招聘网存入mongodb解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下创建项目 sc ...
Python爬虫-Scrapy框架（四）- 内置爬虫文件 - 4.2 初探Crawl Spider
Python爬虫-Scrapy框架(四)- 内置爬虫文件 - 4.2 初探Crawl Spider 写在前面初探Crawl Spider 创建Crawl Spider项目对比Basic与Crawl ...
python爬虫 - scrapy的安装和使用
http://blog.csdn.net/pipisorry/article/details/45190851 Crawler Framework爬虫框架scrapy简介 Scrapy是Python开 ...
python爬虫scrapy框架教程_Python爬虫教程-30-Scrapy 爬虫框架介绍
从本篇开始学习 Scrapy 爬虫框架 Python爬虫教程-30-Scrapy 爬虫框架介绍框架:框架就是对于相同的相似的部分,代码做到不出错,而我们就可以将注意力放到我们自己的部分了常见爬虫框 ...

Python爬虫：Scrapy的Crawler对象及扩展Extensions和信号Signals

Crawler对象

Scrapy内置信号

Python爬虫：Scrapy的Crawler对象及扩展Extensions和信号Signals相关推荐

最新文章

热门文章