协程实现爬虫的例子主要优势在于充分利用IO时间去请求其他的url

# 分别使用urlopen和requests两个模块进行演示
# import requests # 需要安装的
# from urllib.request import urlopen
#
# url = 'http://www.baidu.com'
#
#
# res1 = urlopen(url) # urlopen,获取到页面请求对象
# res2 = requests.get(url)    # requests.get获取到请求对象
# print(res1)
# print(res2)
# print(res1.read().decode('utf-8'))  # 获取到页面源码，有缩进的
# print(res2.content.decode('utf-8')) # 获取到页面源码，无缩进的# 协程实现爬虫的例子# 这里只去处理请求过程中的IO等待,这样请求一个URL的时候，在URL还未返回的这个阶段就发生了IO事件，此时就会发生协程切换去获取另外一个URL，如此协程就充分巧妙利用了程序任务中的IO时间from gevent import monkey
monkey.patch_all()  # 打猴子补丁，使IO操作能被协程发现，从而使得协程能够协程切换工作
import gevent
from urllib.request import urlopendef get_url(url):response = urlopen(url)content = response.read().decode('utf-8')return len(content)if __name__ == '__main__':url_list = ['http://www.baidu.com', 'http://www.sogou.com', "http://www.cnblogs.com"]g_lst = []for url in url_list:g = gevent.spawn(get_url, url)g_lst.append(g)gevent.joinall(g_lst)   # 阻塞等待协程任务执行结束for g in g_lst:print(g.value)  # 协程对象.value能得到任务的返回值

转载于:https://www.cnblogs.com/whylinux/p/9866033.html

协程实现爬虫的例子主要优势在于充分利用IO时间去请求其他的url相关推荐

爬取QQ音乐中一首歌的相关信息及评论（破解反爬虫、多协程队列爬虫）
刚写完这个实验作业,顺便来记录一下一些易错的地方: 目录一.页面预览二.其他信息三.一些小细节四.源码项目框图: 一.页面预览先从歌手页爬取到这首歌的相关信息,包括它歌曲.专辑的url.这 ...
python 协程可以嵌套协程吗_Python实战异步爬虫(协程)+分布式爬虫(多进程)
引言:我们在写爬虫时常会遇到这样的问题,当需要爬取多个URL时,写一个普通的基于requests库的爬虫程序爬取时间会很长.因为是顺序请求网页的,而网页请求和获得响应过程比较耗费时间,程序不得不等待获 ...
python异步爬虫_Python实战异步爬虫(协程)+分布式爬虫(多进程)
转自:https://blog.csdn.net/SL_World/article/details/86633611 在讲解之前,我们先来通过一幅图看清多进程和协程的爬虫之间的原理及其区别.(图片来源 ...
单线程、多线程和协程的爬虫性能对比
作者:小小明非常擅长解决各类复杂数据处理的逻辑,各类结构化与非结构化数据互转,字符串解析匹配等等. 至今已经帮助很多数据从业者解决工作中的实际问题,如果你在数据处理上遇到什么困难,欢迎与我交流. 豆 ...
Python 爬虫：单线程、多线程和协程的爬虫性能对比
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以点击下方链接自行获取 Python免费学习资料 ...
Python爬虫：单线程、多线程和协程的爬虫性能对比！
大家好,我是漆柒七7! 首先见面礼 Python学习大礼包点击领取然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线 ...
Python爬虫：单线程、多线程和协程的爬虫性能对比
今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线程和协程在网络爬虫中的性能. 具体要爬的网址是:https://movie ...
Python爬虫纯干货：单线程、多线程和协程的爬虫性能对比
今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线程和协程在网络爬虫中的性能. 具体要爬的网址是:https://movie ...
Python爬虫：单线程、多线程和协程的爬虫性能对比！异步才是永远滴神！
然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线程和协程在网络爬虫中的性能. 具体要爬的网址是:https://mov ...

协程实现爬虫的例子主要优势在于充分利用IO时间去请求其他的url

协程实现爬虫的例子主要优势在于充分利用IO时间去请求其他的url相关推荐

最新文章

热门文章