Python爬虫案例演示:Python多线程、多进程、协程
很多时候我们写了一个爬虫,实现了需求后会发现了很多值得改进的地方,其中很重要的一点就是爬取速度。本文 就通过代码讲解如何使用 多进程、多线程、协程 来提升爬取速度。注意:我们不深入介绍理论和原理,一切都在代码中。
二、同步
首先我们写一个简化的爬虫,对各个功能细分,有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码,其中 parse_1
函数可以设定循环次数,每次循环将当前循环数(从0开始)和url传入 parse_2
函数。
import requestsdef parse_1():url = 'https://www.baidu.com'for i in range(300):parse_2(url)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1()
性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待
示例代码就是典型的串行逻辑, parse_1
将url和循环数传递给 parse_2
, parse_2
请求并返回状态码后 parse_1
继续迭代一次,重复之前步骤
三、多线程
因为CPU在执行程序时每个时间刻度上只会存在一个线程,因此多线程实际上提高了进程的使用率从而提高了CPU的使用率
实现多线程的库有很多,这里用 concurrent.futures
中的 ThreadPoolExecutor
来演示。介绍 ThreadPoolExecutor
库是因为它相比其他库代码更简洁
为了方便说明问题,下面代码中如果是新增加的部分,代码行前会加上 > 符号便于观察说明问题,实际运行需要去掉
import requests > from concurrent.futures import ThreadPoolExecutordef parse_1():url = 'https://www.baidu.com'# 建立线程池> pool = ThreadPoolExecutor(6)for i in range(300):> pool.submit(parse_2, url)> pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1()
跟同步相对的就是 异步 。异步就是彼此独立,在等待某事件的过程中继续做自己的事,不需要等待这一事件完成后再工作。线程就是实现异步的一个方式,也就是说多线程是异步处理异步就意味着不知道处理结果,有时候我们需要了解处理结果,就可以采用 回调
import requests from concurrent.futures import ThreadPoolExecutor# 增加回调函数 > def callback(future):> print(future.result())def parse_1():url = 'https://www.baidu.com'pool = ThreadPoolExecutor(6)for i in range(300):> results = pool.submit(parse_2, url)# 回调的关键步骤> results.add_done_callback(callback)pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1()
P ython实现多线程有一个无数人诟病的 GIL(全局解释器锁) ,但多线程对于爬取网页这种多数属于IO密集型的任务依旧很合适。
四、多进程
多进程用两个方法实现: ProcessPoolExecutor
和 multiprocessing
1. ProcessPoolExecutor
和实现多线程的 ThreadPoolExecutor
类似
import requests > from concurrent.futures import ProcessPoolExecutordef parse_1():url = 'https://www.baidu.com'# 建立线程池> pool = ProcessPoolExecutor(6)for i in range(300):> pool.submit(parse_2, url)> pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1()
可以看到改动了两次类名,代码依旧很简洁,同理也可以添加 回调 函数
import requests from concurrent.futures import ProcessPoolExecutor> def callback(future):> print(future.result())def parse_1():url = 'https://www.baidu.com'pool = ProcessPoolExecutor(6)for i in range(300):> results = pool.submit(parse_2, url)> results.add_done_callback(callback)pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1()
2. multiprocessing
直接看代码,一切都在注释中。
import requests > from multiprocessing import Pooldef parse_1():url = 'https://www.baidu.com'# 建池> pool = Pool(processes=5)# 存放结果> res_lst = []for i in range(300):# 把任务加入池中> res = pool.apply_async(func=parse_2, args=(url,))# 获取完成的结果(需要取出)> res_lst.append(res)# 存放最终结果(也可以直接存储或者print)> good_res_lst = []> for res in res_lst:# 利用get获取处理后的结果> good_res = res.get()# 判断结果的好坏> if good_res:> good_res_lst.append(good_res)# 关闭和等待完成> pool.close()> pool.join()def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1()
可以看到 multiprocessing
库的代码稍繁琐,但支持更多的拓展。 多进程和多线程确实能够达到加速的目的,但如果遇到IO阻塞会出现线程或者进程的浪费 ,因此有一个更好的方法……
五、异步非阻塞
协程+回调 配合动态协作就可以达到异步非阻塞的目的,本质只用了一个线程,所以很大程度利用了资源
实现异步非阻塞经典是利用 asyncio
库+ yield
,为了方便利用逐渐出现了更上层的封装 aiohttp
,要想更好的理解异步非阻塞最好还是深入了解 asyncio
库。而 gevent
是一个非常方便实现协程的库
import requests > from gevent import monkey # 猴子补丁是协作运行的灵魂 > monkey.patch_all() > import geventdef parse_1():url = 'https://www.baidu.com'# 建立任务列表> tasks_list = []for i in range(300):> task = gevent.spawn(parse_2, url)> tasks_list.append(task)> gevent.joinall(tasks_list)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1()
gevent能很大提速,也引入了新的问题: 如果我们不想速度太快给服务器造成太大负担怎么办? 如果是多进程多线程的建池方法,可以控制池内数量。如果用gevent想要控制速度也有一个不错的方法: 建立队列。 gevent中也提供了 Quene类 ,下面代码改动较大
import requests from gevent import monkey monkey.patch_all() import gevent > from gevent.queue import Queuedef parse_1():url = 'https://www.baidu.com'tasks_list = []# 实例化队列> quene = Queue()for i in range(300):# 全部url压入队列> quene.put_nowait(url)# 两路队列> for _ in range(2):> task = gevent.spawn(parse_2)> tasks_list.append(task)gevent.joinall(tasks_list)# 不需要传入参数,都在队列中 > def parse_2():# 循环判断队列是否为空> while not quene.empty():# 弹出队列> url = quene.get_nowait()response = requests.get(url)# 判断队列状态> print(quene.qsize(), response.status_code)if __name__ == '__main__':parse_1()
结束语
以上就是几种常用的加速方法。如果对代码测试感兴趣可以利用time模块判断运行时间。爬虫的加速是重要技能,但适当控制速度也是爬虫工作者的良好习惯,不要给服务器太大压力,拜拜~
Python爬虫案例演示:Python多线程、多进程、协程相关推荐
- Python 爬虫:单线程、多线程和协程的爬虫性能对比
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以点击下方链接自行获取 Python免费学习资料 ...
- Python爬虫:单线程、多线程和协程的爬虫性能对比!
大家好,我是漆柒七7! 首先见面礼 Python学习大礼包 点击领取 然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线 ...
- Python爬虫:单线程、多线程和协程的爬虫性能对比
今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线程和协程在网络爬虫中的性能. 具体要爬的网址是:https://movie ...
- Python爬虫:单线程、多线程和协程的爬虫性能对比!异步才是永远滴神!
然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线程和协程在网络爬虫中的性能. 具体要爬的网址是:https://mov ...
- Python 多线程 多进程 协程 yield
python中多线程和多进程的最大区别是稳定性和效率问题 多进程互相之间不影响,一个崩溃了不影响其他进程,稳定性高 多线程因为都在同一进程里,一个线程崩溃了整个进程都完蛋 多进程对系统资源开销大,多线 ...
- python 爬虫爱好者必须掌握的知识点“ 协程爬虫”,看一下如何用 gevent 采集女生用头像
本篇博客是 python 爬虫 120 例中,基础知识补充篇,内容将围绕 python 协程进行. 在开始协程相关知识前,先补充一下预备概念. 在 python 爬虫的学习过程中,经常要区分两个概念, ...
- 并发并行多线程多进程协程
并行(Parallelism) 并行是说同一时刻做很多操作.多进程是实现并行的有效方法.因为它可以将许多任务分配到计算机的多个核心上.多进程很适合计算密集型的任务,因为它充分地利用了多个CPU. 多进 ...
- 多线程多进程协程的区别和不同的应用场景
当然既然是都是 多这个字开头,那么就是多任务,我们需要了解 并发:指的是任务数多余cpu核数,通过操作系统的各种任务调度算法, 实现⽤多个任务"⼀起"执⾏(实际上总有⼀些任务不在执 ...
- python爬虫案例讲解-Python爬虫案例集合
# 服务器返回的类文件对象支持Python文件对象的操作方法 # read()方法就是读取文件里的全部内容,返回字符串 html = response.read() # 打印响应内容 print(ht ...
最新文章
- jquery选择器玩得不6啊,只能慢慢写判断了,唉..........................
- 走近分形与混沌(part6)--奇异吸引子与蝴蝶效应
- Pandas 中 把Dataframe 格式转化为 array 数组
- java中Object和Objects类、toString方法和equals方法介绍
- openEuler Summit 带你解锁开源与操作系统的不解之缘
- PHP编译configure时常见错误(转)
- 哈啰单车突发网络故障 网友上班迟到狂吐槽
- 《编程导论(Java)·9.3.1回调·3》回调的实现
- 【收藏】ASP.NET英文技术文章推荐[10/28 – 11/3]
- 阿里云虚拟主机安装wordpress,提示连接数据库失败的解决方法
- 1001 害死人不偿命的(3n+1)猜想 (15 分)—PAT (Basic Level) Practice (中文)
- AnyMP4 MP3 Converter for Mac(mp3格式转换器)
- 计算机图形学 全局光照及方法,实时全局光照渲染研究
- 如何隐藏电脑下方工具栏个别图标_小编教你电脑如何隐藏任务栏图标
- VBA学习之一:基本知识
- openshift operator 介绍
- ElasticSearch学习笔记
- (一)论文阅读 | 目标检测之CornerNet
- git提交代码到github gitbash
- 【使用阿里云配置域名SSL证书】