python 消息队列 get是从队首还是队尾取东西_python分布式爬虫中消息队列知识点详解...

当排队等待人数过多的时候，我们需要设置一个等待区防止秩序混乱，同时再有新来的想要排队也可以呆在这个地方。那么在python分布式爬虫中，消息队列就相当于这样的一个区域，爬虫要进入这个区域找寻自己想要的资源，当然这个是一定的次序的，不然数据获取就会出现重复。就下来我们就python分布式爬虫中的消息队列进行详细解释，小伙伴们可以进一步了解一下。

实现分布式爬取的关键是消息队列，这个问题以消费端为视角更容易理解。你的爬虫程序部署到很多台机器上，那么他们怎么知道自己要爬什么呢？总要有一个地方存储了他们需要爬取的url吧，这样他们才能工作。

假设有1万个url需要爬取，而你有100个爬虫程序部署在10台机器上，每台10个爬虫程序在运行，一个url被分给爬虫程序后，其他爬虫不能再获得这个url，不然，就重复爬取了，理解吧，分布式爬虫的关键是怎么把任务分给这些爬虫。

有些促销活动的现场会进行抽奖活动，工作人员捧着一个透明的箱子，参与活动的人从箱子的小口处把手伸进去随机拿出一张折叠的纸条，这种模式与消息队列十分相似。消息队列就好比这个抽奖的箱子，消费端的爬虫程序就好比参与活动的顾客，爬虫从消息队列里拿出一个url任务，然后进行爬取，不同于抽奖活动时一个人只能拿一次，分布式爬虫允许爬虫在结束一个爬虫任务后继续从消息队列里获取任务。

使用redis的队列做消息队列

如果你只是简单的写一个分布式爬虫，那么使用redis的队列就可以了，它完全可以作为消息队列来使用，下面的代码是生产端的代码示例

import redis

r = redis.redis(host='127.0.0.1', port=6379,

password='yourpassword', db=1)

# 生产10个url任务

for i in range(10):

r.lpush('url_queue', i)

相信看完以上的代码示例后，小伙伴们已经学会用redis创造一个消息队列，用来方便爬虫的获取数据。本篇是以生产段的角度写的代码

到此这篇关于python分布式爬虫中消息队列知识点详解的文章就介绍到这了,更多相关python分布式爬虫中的消息队列是什么内容请搜索萬仟网以前的文章或继续浏览下面的相关文章希望大家以后多多支持萬仟网！

希望与广大网友互动？？

点此进行留言吧！

python 消息队列 get是从队首还是队尾取东西_python分布式爬虫中消息队列知识点详解...相关推荐

python 消息队列 get是从队首还是队尾取东西_Python -- queue队列模块
import Queue myqueue = Queue.Queue(maxsize = 10) Queue.Queue类即是一个队列的同步实现.队列长度可为无限或者有限.可通过Queue的构造函数的 ...
python 消息队列 get是从队首还是队尾取东西_从零开始Python对redis作为消息队列的使用...
一.Redis 服务 1.安装 yum install redis 2. python安装支持模块 /opt/python2.7.13/bin/pip install redis 3. 和redis的 ...
python 消息队列 flask_python分布式爬虫中消息队列知识点详解
当排队等待人数过多的时候,我们需要设置一个等待区防止秩序混乱,同时再有新来的想要排队也可以呆在这个地方.那么在python分布式爬虫中,消息队列就相当于这样的一个区域,爬虫要进入这个区域找寻自己想要的 ...
python爬虫多线程是什么意思_python爬虫中多线程的使用详解
queue介绍 queue是python的标准库,俗称队列.可以直接import引用,在python2.x中,模块名为Queue.python3直接queue即可在python中,多个线程之间的数据 ...
python队列来做什么_python分布式爬虫中的消息队列是什么？
当排队等待人数过多的时候,我们需要设置一个等待区防止秩序混乱,同时再有新来的想要排队也可以呆在这个地方.那么在python分布式爬虫中,消息队列就相当于这样的一个区域,爬虫要进入这个区域找寻自己想要的 ...
python分布式编程_python分布式爬虫中的rules有什么用
python分布式爬虫中的rules有什么用发布时间:2020-11-30 14:04:49 来源:亿速云阅读:100 作者:小新这篇文章主要介绍python分布式爬虫中的rules有什么用,文 ...
python spider是什么_python分布式爬虫中spider_Worker节点指的是什么
python分布式爬虫中spider_Worker节点指的是什么发布时间:2020-11-30 14:07:27
python多线程读取数据库数据_Python基于多线程操作数据库相关知识点详解
Python基于多线程操作数据库相关问题分析本文实例分析了Python多线程操作数据库相关问题.分享给大家供大家参考,具体如下: python多线程并发操作数据库,会存在链接数据库超时.数据库连接丢 ...
操作系统实验二——时间片轮转调度算法（RR算法）（新进程放队首和队尾两种C++实现）
情况介绍基本原理系统将所有就绪进程按照FCFS的原则,排成一个队列依次调度. 把CPU分配给队首进程,执行一个时间片(10-100ms). 时间片用完后,系统计时器发出时钟中断,该进程将被剥夺CP ...

python 消息队列 get是从队首还是队尾取东西_python分布式爬虫中消息队列知识点详解...

python 消息队列 get是从队首还是队尾取东西_python分布式爬虫中消息队列知识点详解...相关推荐

最新文章

热门文章