爬虫多线程生产者与消费者

#-*-coding:utf-8-*-
# -*-coding:utf-8-*-
import threading, time, requests, json
from  queue import Queue
class Pcoduct(threading.Thread):  # 继承多线程父类def __init__(self, i, q):super().__init__()  # 继承父类init#自动执行runself.i = iself.q = qdef run(self):  # 请求#复写run方法while True:if self.q.empty():breaktry:q2 = self.q.get(block=False)print(self.i, "任务执行")time3 = time.time()url = f"https://careers.tencent.com/tencentcareer/api/post/Query?timestamp={time3}&keyword=python&pageIndex={q2}&pageSize=10&language=zh-cn&area=cn"self.get_html(url)print(self.i, "任务结束")except:passdef get_html(self, url):headers = {  # 伪装成浏览器，防止反爬,通用'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}response = requests.get(url=url, headers=headers).json()q.put(response)
class Customer(threading.Thread):  # 继承多线程父类def __init__( self,j):super().__init__()  # 继承父类init#自动执行runself.j = jdef run(self):  # 请求#复写run方法while True:if c.empty() and  flag:breaktry:response=c.get(block=False)print(self.j, "任务执行")self.parse_html(response)print(self.j,'任务结束')except:passdef parse_html(self,response):job_list = response['Data']['Posts']for job in job_list:# 工作名称：name = job['RecruitPostName']# 工作地点：address = job['LocationName']# 岗位职责：Responsibility = job['Responsibility']Responsibility = Responsibility.replace('\n', '').replace('\r', '')# 详情url：PostURL = job['PostURL']infor = f'工作名称:{name},工作地点：{address},岗位职责：{Responsibility},详情url：{PostURL}'with lock:with open('腾讯招聘.txt', 'a', encoding='utf-8')as fp:fp.write(infor + '\n')
if __name__ == '__main__':lock=threading.Lock()flag=Falsestart = time.time()q = Queue()#生产者队列for i in range(1, 21):q.put(i)c=Queue()product= ['p1', 'p2', 'p3']  # 创建任务对列#起线程customer=['c1','c2','c3']qp=[]cq=[]for pi in product:crawl = Pcoduct(pi, q)crawl.start()qp.append(crawl)for ci in customer:crawl2 = Customer(ci)crawl2.start()cq.append(crawl2)for pj in qp:pj.join()  # 阻塞主线程flag=Truefor cj in cq:cj.join()end = time.time()print(end - start)

爬虫多线程生产者与消费者相关推荐

Java多线程-生产者与消费者
Java多线程生产者与消费者,准确说应该是"生产者-消费者-仓储"模型,使用了仓储,使得生产者消费者模型就显得更有说服力. 对于此模型,应该明确一下几点: 1.生产者仅仅在仓储未满 ...
python 生产者和消费者模式_Python爬虫：生产者和消费者模式
认识生产者和消费者模式生产者和消费者是多线程中很常见的一个问题.产生数据的模块,我们称之为生产者,而处理数据的模块,就称为消费者.但是单单只有生产者和消费者显然还是不够的,一般来说,我们还有一个缓冲 ...
java多线程生产者与消费者问题_Java多线程详解之四:生产者消费者问题
一.问题描述生产者消费者问题(Producer-Consumer problem),也称有限缓冲区问题(Bounded-buffer promblem),是一个多线程同步问题的经典案例.对于一个固定 ...
java多线程生产者与消费者问题_java多线程实现生产者与消费者问题
生产者与消费者多线程实现,首先的问题就是同步,就是关于临界资源的访问我们首先来定义一个临界资源类,这里设为Q class Q { int z=4; } 这个int型的z就是我假设的临界资源的个数然 ...
java多线程生产者与消费者案例_多线程操作实例——生产者与消费者
面对多线程学习生产者与消费者是最基本的实例对于java后端开发的人员必须要掌握,还有考研考试计算机操作系统的同鞋. 下面是三个实例对于生产者与消费者的的例子,层层递进,逐步解决问题. 问题:生产者- ...
Java基础进阶多线程-生产者和消费者模式
1.什么是"生产者和消费者模式"? 生产线程负责生产,消费线程负责消费生产线程和消费线程要达到均衡这是一种特殊的业务需求,在这种特殊的情况下需要使用wait方法和notify方 ...
多线程——生产者与消费者（多）1.5新锁，问题解决
package 多线程;import java.util.concurrent.locks.Condition; import java.util.concurrent.locks.Lock; imp ...
c++多线程生产者与消费者问题代码
1.目录结构 2.代码 BufferPool.h #ifndef BUFFERPOOL #define BUFFERPOOL #include<windows.h> #include< ...
C++多线程-生产者与消费者模型
生产者-消费者是很有意思的一种算法.它的存在主要是两个目的,第一就是满足生产者对资源的不断创造:第二就是满足消费者对资源的不断索取.当然,因为空间是有限的,所以资源既不能无限存储,也不能无限索取. 生 ...

爬虫多线程生产者与消费者

爬虫多线程生产者与消费者相关推荐

最新文章

热门文章