协程池实现爬虫

1 协程池模块使用介绍

协程池模块

 import gevent.monkeygevent.monkey.path_all()from gevent.pool import Pool

2 使用协程池实现爬虫的具体实现过程案例

# coding=utf-8
import gevent.monkey
gevent.monkey.path_all()
from gevent.pool import Poolimport requests
from lxml import etree
from queue import Queue
import timeclass QiubaiSpider:def __init__(self):self.url_temp = "https://www.qiushibaike.com/8hr/page/{}/"self.headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X \10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"}self.queue = Queue()self.pool = Pool(5)self.is_running = Trueself.total_requests_num = 0self.total_response_num = 0def get_url_list(self):  # 获取url列表for i in range(1, 14):self.queue.put(self.url_temp.format(i))self.total_requests_num += 1def parse_url(self, url):  # 发送请求，获取响应return requests.get(url, headers=self.headers).content.decode()def get_content_list(self, html_str):  # 提取段子html = etree.HTML(html_str)div_list = html.xpath("//div[@id='content-left']/div")content_list = []for div in div_list:content = {}content["content"] = div.xpath(".//div[@class='content']/span/text()")print(content)content_list.append(content)return content_listdef save_content_list(self, content_list):  # 保存数据passdef exetute_requests_item_save(self):url = self.queue.get()html_str = self.parse_url(url)content_list = self.get_content_list(html_str)self.save_content_list(content_list)self.total_response_num += 1def _callback(self, temp):if self.is_running:self.pool.apply_async(self.exetute_requests_item_save, callback=self._callback)def run(self):self.get_url_list()for i in range(2):  # 控制并发self.pool.apply_async(self.exetute_requests_item_save, callback=self._callback)while True:  # 防止主线程结束time.sleep(0.0001)  # 避免cpu空转，浪费资源if self.total_response_num >= self.total_requests_num:self.is_running = Falsebreakif __name__ == '__main__':qiubai = QiubaiSpider()qiubai.run()

python多任务爬虫（四、协程池实现爬虫）相关推荐

python异步爬虫_Python实现基于协程的异步爬虫
Python实现基于协程的异步爬虫一.课程介绍 1. 课程来源本课程核心部分来自<500 lines or less>项目,作者是来自 MongoDB 的工程师 A. Jesse Ji ...
python 协程池和pool.map用法
一.问题描述现在有一段代码,需要扫描一个网段内的ip地址,是否可以ping通. 执行起来效率太慢,需要使用协程. #!/usr/bin/env python # -*- coding: utf-8 ...
python 协程池
python 协程池一.问题描述现在有一段代码,需要扫描一个网段内的ip地址,是否可以ping通. 执行起来效率太慢,需要使用协程. #!/usr/bin/env python # -*- cod ...
Python进程池，线程池，协程池
线程池 import threading import time def myThread():for i in range(10):time.sleep()print('d') sep=thread ...
python3异步协程爬虫_Python实现基于协程的异步爬虫
Python实现基于协程的异步爬虫一.课程介绍 1. 课程来源本课程核心部分来自<500 lines or less>项目,作者是来自 MongoDB 的工程师 A. Jesse Ji ...
Python 异步 IO 、协程、asyncio、async/await、aiohttp
From :廖雪峰异步IO :https://www.liaoxuefeng.com/wiki/1016959663602400/1017959540289152 Python Async/Awai ...
python并发编程：协程asyncio、多线程threading、多进程multiprocessing
python并发编程:协程.多线程.多进程 CPU密集型计算与IO密集型计算多线程.多进程与协程的对比多线程创建多线程的方法多线程实现的生产者-消费者爬虫 Lock解决线程安全问题使用线程池 ...
爬虫15——协程异步
1.协程,异步的概念 1.1 首先导入一段代码 import time def func():print("我爱黎明!")time.sleep(3) #睡三秒,让当前线程处于堵塞状 ...
连接池和协程池为何能提升并发能力？
你有没有发现,"内存池"和"进程池"都带有"池"字?其实,这两种技术都属于"池化技术".它通常是由系统预先分配一批资源并 ...
Go协程池设计思路(Task-Job-Worker)
1. 铺垫:Go 的接收器Receiver 在go语言中,没有类的概念,但是可以给类型(结构体,自定义类型)定义方法.所谓方法就是定义了接受者的函数.接受者定义在func关键字和函数名之间.可以理解成 ...

python多任务爬虫（四、协程池实现爬虫）

目录

协程池实现爬虫

1 协程池模块使用介绍

2 使用协程池实现爬虫的具体实现过程案例

python多任务爬虫（四、协程池实现爬虫）相关推荐

最新文章

热门文章