settings中的配置

DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”
SCHEDULER = “scrapy_redis.scheduler.Scheduler”
SCHEDULER_PERSIST = True

REDIS_HOST=‘192.168.72.137’
REDIS_PORT=6379
REDIS_PASSWORD=’’

spider中配置
。。。
。。。
。。。
from scrapy_redis.spiders import RedisCrawlSpider

class MypeopleSpider(RedisCrawlSpider):
name = ‘mypeople’
allowed_domains = [‘people.com.cn’]
# start_urls = [‘http://politics.people.com.cn/GB/1024/index1.html’]
redis_key = “mypeople:start_url”

rules = (Rule(LinkExtractor(allow=("index(\d+).html")), callback="get_parse", follow=True),)def get_parse(self, response):pass

scrapy-redis配置解释

SCHEDULER=“scrapy_redis.scheduler.Scheduler”

DUPEFILTER=“scrapy_redis.dupefilter.RFPDupeFilter”

# 链接redis

REDIS_HOST=‘192.168.72.137’

REDIS_PORT=6379

REDIS_PASSWORD=’’

#配置队列可以不写默认或是写三个中的一个

# SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.PriorityQueue’

# SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.FifoQueue’

SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.LifoQueue’

#持久化配置 使用True的时候就是指纹队列爬取后不会清空否则自动清空默认是False

SCHEDULER_PERSIST=True

# 重爬配置 默认为False 如果持久配置为True那么中断再启动 爬虫队列和指纹队列 都不会清空 True时候会清空连续不上

# SCHEDULER_FLUSH_ON_START=True

# PIPELINE配置 默认不启动 启动的话 会把item存到redis中

# ITEM_PIPELINES={

# ‘scrapy_redis.pipelines.RedisPipeline’:300

# }

配置数据库存储

MONGO_URI=‘mongodb://admin:admin123@127.0.0.1:27017’

最好看源码
源码
https://github.com/rmax/scrapy-redis/tree/master/src/scrapy_redis

scrapy-redis的关键配置相关推荐

  1. redis连接数合理配置_redis如何进行合理配置，这10种配置参数你必须知道

    redis参数如何配置 redis数据库的使用,关键一步是对redis进行合理的参数配置,redis的配置文件都在安装目录下的redis.conf文件中进行相关参数配置. redis参数的配置可以通过 ...

  2. 跟着狂神学Redis(NoSql+环境配置+五大数据类型+三种特殊类型+Hyperloglog+Bitmap+事务+Jedis+SpringBoot整合+Redis持久化+...)

    跟着狂神学Redis 狂神聊Redis 学习方式:不是为了面试和工作学习!仅仅是为了兴趣!兴趣才是最好的老师! 基本的理论先学习,然后将知识融汇贯通! 狂神的Redis课程安排: nosql 讲解 阿 ...

  3. 基于Scrapy+redis+mongodb+scrapyd+scrapydweb+Pandas+BI的可视化操作分布式网络爬虫数据可视化分析

    提示:所有代码已经开源到最大同性交友网站,有兴趣的朋友可以试试:Git地址 未经作者允许不得私自转发 请注明原作者:https://blog.csdn.net/qq_52420866/article/ ...

  4. Redis安装与配置、centos虚拟机上配置自启动redis服务

    目录 1. Redis简介 2.Redis安装前的准备工作 3. 解压 4.redis服务与关闭 5. redis服务的开机启动 centos虚拟机上的配置 6.安装 今天与大家分享,Redis安装与 ...

  5. redis cluster 安装配置

    一.redis集群安装配置 1.下载redis源码包并下载 wget http://download.redis.io/releases/redis-3.0.7.tar.gz $ tar xzf re ...

  6. Python面试必备—分布式爬虫scrapy+redis解析

    传智播客博学谷 微信号:boxuegu- get最新最全的IT技能 免费领取各种视频资料 注意:文末送书 很多小伙伴留言,最近准备跳槽,但是面试的机会比较少,好不容易得到面试机会,由于技术点的匮乏,面 ...

  7. ubunut离线redis配置_ubuntu安装redis及简单配置

    1.官方下载redis. redis-4.0.10.tar.gz 2.上传到服务器,找到上传文件,进行解压 #tar zxvf redis-4.0.10.tar.gz #cd /apache/redi ...

  8. 【转载】SAP Retail寄售门店关键配置

    [转载]SAP Retail寄售门店关键配置 零售行业品牌总公司与零售公司之间经常会采用寄售的业务模式进行交易,商品在总公司下的库存是非限制使用库存,但是转到零售公司属于K寄售库存,所以在零售公司下对 ...

  9. SAP Retail 寄售门店关键配置

    SAP Retail 寄售门店关键配置 零售行业品牌总公司与零售公司之间经常会采用寄售的业务模式进行交易,商品在总公司下的库存是非限制使用库存,但是转到零售公司属于K寄售库存,所以在零售公司下对应的商 ...

  10. 浅谈Redis及其安装配置

    一.Redis的介绍 二.Redis的安装配置 三.Redis的配置文件说明 四.Redis的简单操作 简介: Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型. ...

最新文章

  1. [kuangbin带你飞]专题五 并查集 E - 食物链 （带权并查集）
  2. 机器学习-情感分析-入门实战案例
  3. 两个晶体管组成的混沌电路
  4. 【收藏】spring boot+websocket+echarts 后台推送数据用echarts展示
  5. Cool！15个超炫的 CSS3 文本特效【上篇】
  6. 老古语道：十九年头七年寡，鼠年难逢双春年，有何说法？
  7. Java魔法堂：自定义和解析注解
  8. [转]介绍几个C#正则表达式工具
  9. [导入]ASP.NET 2.0数据处理之高级分页/排序
  10. 了解Spring AOP吗
  11. java基础总结01-简介
  12. 将百度万年历存入自己的数据库
  13. sin1用计算机怎么算,sin1等于多少？
  14. Mysql orchestrator高可用
  15. 程序员薪水变化数据大曝光，哭着上班，笑着拿工资！
  16. Python学习实践 | speech智能语音模块
  17. 陷阱技术探秘 ----动态汉化Windows技术的分析
  18. 浅谈2019互联网新技术
  19. Vue之路由（SPA开发模式）
  20. NLP的命名实体识别 -- 嵌套实体问题

热门文章

  1. linux在生信的作用,【生信笔记】右键菜单打开WSL功能方法简介
  2. unitoy机器人怎么联网_机器人操作说明
  3. datanucleus mysql_DataNucleus Access Platform 3.1.2发布
  4. 苹果7支持快充吗_支持苹果20W+华为22.5W快充，倍思发布迷你数显快充移动电源...
  5. 怎样找出插件的api地址_百度云盘免登陆高速下载，调用度云简易分享地址提取在线工具...
  6. 在ubuntu上使用gdb-multiarch 跨平台调试
  7. java反码补码原码作用_java原码补码反码关系解析
  8. 山东计算机编程哪个学校好,山东男孩，8岁懂电脑编程，10岁考上南科大，最后为何惨遭退学？...
  9. 关于微型计算机主板的描述错误的是,2016年9月计算机一级考试试题及答案「单选」...
  10. 【 MATLAB 】DFS 与 z 变换之间的关系