python 消息队列 flask_python分布式爬虫中消息队列知识点详解

当排队等待人数过多的时候，我们需要设置一个等待区防止秩序混乱，同时再有新来的想要排队也可以呆在这个地方。那么在python分布式爬虫中，消息队列就相当于这样的一个区域，爬虫要进入这个区域找寻自己想要的资源，当然这个是一定的次序的，不然数据获取就会出现重复。就下来我们就python分布式爬虫中的消息队列进行详细解释，小伙伴们可以进一步了解一下。

实现分布式爬取的关键是消息队列，这个问题以消费端为视角更容易理解。你的爬虫程序部署到很多台机器上，那么他们怎么知道自己要爬什么呢？总要有一个地方存储了他们需要爬取的url吧，这样他们才能工作。

假设有1万个url需要爬取，而你有100个爬虫程序部署在10台机器上，每台10个爬虫程序在运行，一个url被分给爬虫程序后，其他爬虫不能再获得这个url，不然，就重复爬取了，理解吧，分布式爬虫的关键是怎么把任务分给这些爬虫。

有些促销活动的现场会进行抽奖活动，工作人员捧着一个透明的箱子，参与活动的人从箱子的小口处把手伸进去随机拿出一张折叠的纸条，这种模式与消息队列十分相似。消息队列就好比这个抽奖的箱子，消费端的爬虫程序就好比参与活动的顾客，爬虫从消息队列里拿出一个url任务，然后进行爬取，不同于抽奖活动时一个人只能拿一次，分布式爬虫允许爬虫在结束一个爬虫任务后继续从消息队列里获取任务。

使用redis的队列做消息队列

如果你只是简单的写一个分布式爬虫，那么使用redis的队列就可以了，它完全可以作为消息队列来使用，下面的代码是生产端的代码示例

import redis

r = redis.Redis(host='127.0.0.1', port=6379,

password='yourpassword', db=1)

# 生产10个url任务

for i in range(10):

r.lpush('url_queue', i)

相信看完以上的代码示例后，小伙伴们已经学会用redis创造一个消息队列，用来方便爬虫的获取数据。本篇是以生产段的角度写的代码

到此这篇关于python分布式爬虫中消息队列知识点详解的文章就介绍到这了,更多相关python分布式爬虫中的消息队列是什么内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

本文标题: python分布式爬虫中消息队列知识点详解

本文地址: http://www.cppcns.com/jiaoben/python/366379.html

python 消息队列 flask_python分布式爬虫中消息队列知识点详解相关推荐

python 消息队列 get是从队首还是队尾取东西_python分布式爬虫中消息队列知识点详解...
当排队等待人数过多的时候,我们需要设置一个等待区防止秩序混乱,同时再有新来的想要排队也可以呆在这个地方.那么在python分布式爬虫中,消息队列就相当于这样的一个区域,爬虫要进入这个区域找寻自己想要的 ...
python爬虫多线程是什么意思_python爬虫中多线程的使用详解
queue介绍 queue是python的标准库,俗称队列.可以直接import引用,在python2.x中,模块名为Queue.python3直接queue即可在python中,多个线程之间的数据 ...
python构造自定义数据包_pytorch中的自定义数据处理详解
pytorch在数据中采用Dataset的数据保存方式,需要继承data.Dataset类,如果需要自己处理数据的话,需要实现两个基本方法. :.getitem:返回一条数据或者一个样本,obj[in ...
python orm框架sqlalchemy_python orm 框架中sqlalchemy用法实例详解
本文实例讲述了python orm 框架中sqlalchemy用法.分享给大家供大家参考,具体如下: 一.ORM简介 1. ORM(Object-Relational Mapping,对象关系映射): ...
python写等腰三角形的性质_杨辉三角—知识点详解 - osc_8cfq8uoa的个人空间 - OSCHINA - 中文开源技术交流社区...
杨辉三角杨辉三角(欧洲叫帕斯卡三角)是一个很奇妙的东西,它是我国数学家杨辉在1261年发现的,欧洲的帕斯卡于1654年发现,比我国的巨佬数学家杨辉晚了393年.(在此show一下我的爱国情怀) 铺垫 ...
python队列来做什么_python分布式爬虫中的消息队列是什么？
当排队等待人数过多的时候,我们需要设置一个等待区防止秩序混乱,同时再有新来的想要排队也可以呆在这个地方.那么在python分布式爬虫中,消息队列就相当于这样的一个区域,爬虫要进入这个区域找寻自己想要的 ...
python分布式编程_python分布式爬虫中的rules有什么用
python分布式爬虫中的rules有什么用发布时间:2020-11-30 14:04:49 来源:亿速云阅读:100 作者:小新这篇文章主要介绍python分布式爬虫中的rules有什么用,文 ...
python spider是什么_python分布式爬虫中spider_Worker节点指的是什么
python分布式爬虫中spider_Worker节点指的是什么发布时间:2020-11-30 14:07:27
Python进阶之Scrapy-redis分布式爬虫抓取当当图书
Python进阶之Scrapy-redis分布式爬虫抓取当当图书 1. 准备工作 1.1 安装scrapy-redis 1.2 在windows安装redis程序 1.3 打开redis服务 2. 需 ...

python 消息队列 flask_python分布式爬虫中消息队列知识点详解

python 消息队列 flask_python分布式爬虫中消息队列知识点详解相关推荐

最新文章

热门文章