解决scrapy爬虫框架多个spider指定pipeline

现在来看一个问题：当存在多个爬虫的时候如何指定对应的管道呢？

这里定义了两个爬虫：film、meiju

1.首先想到settings设置文件。
settings里针对item_pipelines的设置如下：

内置设置参考:ITEM_PIPELINES
默认： {}

包含要使用的项目管道及其顺序的字典。顺序值是任意的，但通常将它们定义在0-1000范围内。较低订单处理较高订单前。

例：

对应管道文件：

但是我遇到一个问题，当我单独运行film或者meiju时总会指定到settings里的第一个配置管道，也就是都会写入到my_meiju_jianjie.txt文本文件中。

因为setting.py中的都是全局属性的，scrapy有多个spider的时候就要用custom_setting配置。见方法三。

2.第二，可以在 pipeline 里判断是哪个爬虫的结果
settings里配置：

在pipeline文件里编写类MysipiderPipeline：

根据不同的爬虫名字，处理不同的逻辑，很完美，可以使用。

3.直接在爬虫里设置管道
stakoverflow里曾有有提出这个问题：https://stackoverflow.com/questions/8372703/how-can-i-use-different-pipelines-for-different-spiders-in-a-single-scrapy-proje/34647090#34647090

给出的最佳答案也是在单个爬虫里设置，不过要求scrapy版本必须是1.1以上。

我的爬虫内的设置：

film：

meiju：

因为要对应找到每个爬虫指定的管道，所以settings里也要进行管道配置：

对应管道文件：

亲测完美指定配置的通道～

总结：

如果你的scrapy是1.1以上版本，推荐使用第三种方法，简介明了。如果是更低版本，推荐使用第二种方法，多点判断也未尝不可

解决scrapy爬虫框架多个spider指定pipeline相关推荐

Scrapy爬虫框架视频学习
文章目录 Scrapy爬虫框架 1. 框架架构 1.1 Scrapy框架介绍 1.2 Scrapy架构图 1.3 Scrapy框架模块功能 1.4 Scrapy的运作流程(容易理解的介绍) 2. Sc ...
Scrapy爬虫框架抓取网易新闻
@scrapy 环境安装 Windows scrapy的安装需要5个依赖库,先安装好这5个依赖库,然后在dos命令中利用pip install安装scrapy框架即可,首先要确保python的目录是添 ...
Python Scrapy爬虫框架实战应用
通过上一节<Python Scrapy爬虫框架详解>的学习,您已经对 Scrapy 框架有了一个初步的认识,比如它的组件构成,配置文件,以及工作流程.本节将通过一个的简单爬虫项目对 Scr ...
【数据分析】干货！一文教会你 Scrapy 爬虫框架的基本使用
出品:Python数据之道 (ID:PyDataLab) 作者:叶庭云编辑:Lemon 一.scrapy 爬虫框架介绍在编写爬虫的时候,如果我们使用 requests.aiohttp 等库,需要从 ...
linux scrapy 定时任务_2019Python学习教程（全套Python学习视频）：Scrapy爬虫框架入门...
Scrapy爬虫框架入门 Scrapy概述 Scrapy是Python开发的一个非常流行的网络爬虫框架,可以用来抓取Web站点并从页面中提取结构化的数据,被广泛的用于数据挖掘.数据监测和自动化测试等领 ...
Scrapy爬虫框架管道文件pipelines数据图像存储
Scrapy爬虫框架管道文件pipelines Scrapy爬虫框架管道文件pipelines 一.pipelines的通用性二.pipelines的主要功能 1.对数据进行后处理,清洗,去重,融合 ...
Scrapy爬虫框架（实战篇）【Scrapy框架对接Splash抓取javaScript动态渲染页面】
(1).前言动态页面:HTML文档中的部分是由客户端运行JS脚本生成的,即服务器生成部分HTML文档内容,其余的再由客户端生成静态页面:整个HTML文档是在服务器端生成的,即服务器生成好了,再发送 ...
崔老哥python scrapy爬虫框架入门
Scrapy 爬虫框架入门案例详解 Scrapy入门创建项目创建Spider 创建Item 解析Response 使用Item 后续Request 保存到文件使用Item Pipeline 源代 ...
python3 scrapy爬虫_Python3 Scrapy爬虫框架(Scrapy/scrapy-redis)
Python3 Scrapy爬虫框架(Scrapy/scrapy-redis) 本文由 Luzhuo 编写,转发请保留该信息. 原文: https://blog..net/Rozol/article/ ...

解决scrapy爬虫框架多个spider指定pipeline

解决scrapy爬虫框架多个spider指定pipeline相关推荐

最新文章

热门文章