PYTHON——多线程:队列Queue数据结构
1、队列模块简介
队列是一种数据结构,用于存放数据,类似列表。它是先进先出模式(FIFO模式),类似管道一般;
单线程不需要用到队列Queue,它主要用在多线程之间的,Queue称为多线程利器。
列表在多线程共享资源的话,与queue队列比较,主要表现为列表在多线程中,数据不安全。多个线程到列表中拿数据,可能拿到相同的数据。而多线程采用队列Queue作为共享资源的数据结构的话,不同线程从队列中取出(get())数据,能够保证数据的不同,这就是队列Queue的优势。这是因为队列内部本身就有一把锁,保证共享数据的安全。
队列中,存放系列任务,每个线程执行一个任务。
创建一个“队列”对象
import Queue
q = Queue.Queue(maxsize = 10)
Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。
将一个值放入队列中
q.put(10)
调用队列对象的put()方法在队尾插入一个项目。put()有两个参数,第一个item为必需的,为插入项目的值;第二个block为可选参数,默认为
1。如果队列当前为空且block为1,put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0,put方法将引发Full异常。
将一个值从队列中取出
q.get()
调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block,默认为True。如果队列为空且block为True,get()就使调用线程暂停,直至有项目可用。如果队列为空且block为False,队列将引发Empty异常。
Python Queue模块有三种队列及构造函数:
1、Python Queue模块的FIFO队列先进先出。 class queue.Queue(maxsize)
2、LIFO类似于堆,即先进后出。 class queue.LifoQueue(maxsize)
3、还有一种是优先级队列级别越低越先出来。 class queue.PriorityQueue(maxsize)
此包中的常用方法(q = Queue.Queue()):
q.qsize() 返回队列的大小
q.empty() 如果队列为空,返回True,反之False
q.full() 如果队列满了,返回True,反之False
q.full 与 maxsize 大小对应
q.get([block[, timeout]]) 获取队列,timeout等待时间
q.get_nowait() 相当q.get(False)
非阻塞 q.put(item) 写入队列,timeout等待时间
q.put_nowait(item) 相当q.put(item, False)
q.task_done() 在完成一项工作之后,q.task_done() 函数向任务已经完成的队列发送一个信号
q.join() 实际上意味着等到队列为空,再执行别的操作
2、实例代码:
实例一:
import threading,queue from time import sleep from random import randintclass Production(threading.Thread):def run(self):while True:r=randint(0,100)q.put(r)print("生产出来%s号包子"%r)sleep(1) class Proces(threading.Thread):def run(self):while True:re=q.get()print("吃掉%s号包子"%re) if __name__=="__main__":q=queue.Queue(10)threads=[Production(),Production(),Production(),Proces()]for t in threads:t.start()
实例二:
#实现一个线程不断生成一个随机数到一个队列中(考虑使用Queue这个模块) # 实现一个线程从上面的队列里面不断的取出奇数 # 实现另外一个线程从上面的队列里面不断取出偶数import random,threading,time from queue import Queue #Producer thread class Producer(threading.Thread):def __init__(self, t_name, queue):threading.Thread.__init__(self,name=t_name)self.data=queuedef run(self):for i in range(10): #随机产生10个数字 ,可以修改为任意大小randomnum=random.randint(1,99)print ("%s: %s is producing %d to the queue!" % (time.ctime(), self.getName(), randomnum))self.data.put(randomnum) #将数据依次存入队列time.sleep(1)print ("%s: %s finished!" %(time.ctime(), self.getName()))#Consumer thread class Consumer_even(threading.Thread):def __init__(self,t_name,queue):threading.Thread.__init__(self,name=t_name)self.data=queuedef run(self):while 1:try:val_even = self.data.get(1,5) #get(self, block=True, timeout=None) ,1就是阻塞等待,5是超时5秒if val_even%2==0:print ("%s: %s is consuming. %d in the queue is consumed!" % (time.ctime(),self.getName(),val_even))time.sleep(2)else:self.data.put(val_even)time.sleep(2)except: #等待输入,超过5秒 就报异常print ("%s: %s finished!" %(time.ctime(),self.getName()))break class Consumer_odd(threading.Thread):def __init__(self,t_name,queue):threading.Thread.__init__(self, name=t_name)self.data=queuedef run(self):while 1:try:val_odd = self.data.get(1,5)if val_odd%2!=0:print ("%s: %s is consuming. %d in the queue is consumed!" % (time.ctime(), self.getName(), val_odd))time.sleep(2)else:self.data.put(val_odd)time.sleep(2)except:print ("%s: %s finished!" % (time.ctime(), self.getName()))break #Main thread def main():queue = Queue()producer = Producer('Pro.', queue)consumer_even = Consumer_even('Con_even.', queue)consumer_odd = Consumer_odd('Con_odd.',queue)producer.start()consumer_even.start()consumer_odd.start()producer.join()consumer_even.join()consumer_odd.join()print ('All threads terminate!')if __name__ == '__main__':main()
实例三:注意:列表在线程中不安全
import threading,timeli=[1,2,3,4,5]def pri():while li:a=li[-1]print(a)time.sleep(1)try:li.remove(a)except:print('----',a)t1=threading.Thread(target=pri,args=()) t1.start() t2=threading.Thread(target=pri,args=()) t2.start()
转载于:https://www.cnblogs.com/chenhaiming/p/9916439.html
PYTHON——多线程:队列Queue数据结构相关推荐
- Python 线程队列 Queue – FIFO - Python零基础入门教程
目录 一.Python 线程队列分类 二.Python 线程先进先出队列 Queue 简介 三.Python 线程先进先出队列 Queue 常用函数 四.Python 线程先进先出队列 Queue 使 ...
- 100行代码教你爬取斗图网(Python多线程队列)
100行代码教你爬取斗图网(Python多线程队列) 前言 根据之前写的两篇文章,想必大家对多线程和队列有了一个初步的了解,今天这篇文章就来实战一下,用多线程 + 队列 爬取斗图网的全网图片. 你还在 ...
- Python多线程——队列(Queue)
一. Queue作用:主要就是为多线程生产值.消费者之间线程通信提供服务,具有先进先出的数据结构. 1.首先我们组要明白为什么要使用队列,队列的性质, 多线程并发编程的重点,是线程之间共享数据的访问问 ...
- python多线程队列处理_Python线程和队列使用的一点思考
Python线程和队列使用的一点思考 1. 斗哥采访环节请问为什么要使用线程? 答:为了提高程序速度,代码效率呀. 请问为什么要使用队列? 答:个人认为队列可以保证线程安全,实现线程间的同步,比较稳. ...
- python多线程队列两组数据_python 多线程2-队列同步
让我们考虑更复杂的一种场景:产品是各不相同的.这时只记录一个数量就不够了,还需要记录每个产品的细节.很容易想到需要用一个容器将这些产品记录下来. Python的Queue模块中提供了同步的.线程安全的 ...
- python多线程队列和池_Python3 从零单排28_线程队列进程池线程池
1.线程队列 线程队列有三种:先进先出,后进先出,按优先级进出,具体如下: 1 importqueue2 3 #先进先出 4 q = queue.Queue(3)5 6 q.put(1)7 q.put ...
- python判断队列是否为空_[python模块]队列queue
一.队列queue 队列queue 多应用在多线程场景,多线程访问共享变量. 对于多线程而言,访问共享变量时,队列queue的线程安全的. 因为queue使用了一个线程锁(pthread.Lock() ...
- python队列长度_[python模块]队列queue
一.队列queue 队列queue 多应用在多线程场景,多线程访问共享变量. 对于多线程而言,访问共享变量时,队列queue的线程安全的. 因为queue使用了一个线程锁(pthread.Lock() ...
- python多线程队列爬虫流程图_python 多线程爬虫 队列queue问题。
思路是 先构造url列表 all_url 然后 for i in range(0, len(all_url)): urlqueue.put(all_url[i]) 然后get 做到每次从列表中取出ur ...
最新文章
- php 比较字符串差,PHP字符串比较函数strcmp()和strcasecmp()使用总结
- Tomcat参数设置,解决内存溢出问题
- Matlab实用程序--图形应用-枝干图
- 集线器(Hub)、交换机(Switch)与路由器(Router)之间的区别和联系
- OracleDB 12cR2 架构 (强烈推荐)
- 哈工大威海计算机组成原理,哈工大威海计算机组成原理复习.pdf
- 哈工大计算机学院成立,哈工大计算机科学与技术学院简介
- 名企笔试:京东 2016 算法工程师笔试题(登楼梯)
- Android 一个漂亮的Android日期和时间选择器:DateTimePicker
- 注意力机制与V_net神经网络的介绍与实现
- 加一度解析百度搜索困局,小程序将开启搜索流量新机遇
- Android使用notifyDataSetChanged刷新适配器数据无效
- raid卡直通模式会走缓存吗_磁盘阵列 RAID 技术如何保护数据
- DIY六足仿生机器人,了解一下?
- 【fpga】gtx/gth概述
- python中判断字母大小写和数字字符串
- 9.app后端选择什么服务器
- JAVA简介及其编码规范
- iOS资料-插件第三方文章
- Android-GnssHal层gps.xxx.so查找与加载过程分析
热门文章
- linux手写数字识别opencv,opencv实现KNN手写数字的识别
- python 结束进程 terminate_python – 如果已存在浏览器窗口,则process.terminate()不适用于chrome / firefox子进程...
- vim 直接跳转到标签
- h2 mysql 兼容性_H2内存数据库对sql语句的支持问题 sql放到mysql数据库中能跑
- mysql 回滚 前滚_Oracle 实例恢复时 前滚 后滚说明
- oracle insert parallel,insert /*parallel */ 到不同用户,并行起不来的问题
- layui树形父子不关联_DP专题7 | 没有上司的舞会 洛谷1352(树形DP)
- 【 Verilog HDL 】case, casez, casex 之干货总结
- RTL Schematic 与 Technology Schematic的区别?
- .NET Core微服务之基于Consul实现服务治理