前言

协程就是异步爬取能够快速的爬取数据高效利用CPU 当发生等待事件就可以执行其他的任务

一、引入库

import asyncio
#import requests 正步代码 异步会被中断
import aiohttp
import aiofiles
import time

二、使用步骤

1.上代码

代码如下（示例）：

import asyncio
#import requests 正步代码 异步会被中断
import aiohttp
import aiofiles
import time
async def download(url):  #用async返回函数可以当成是异步对象#url = "http://kr.shanghai-jiuxin.com/file/2020/1031/563337d07af599a9ea64e620729f367e.jpg"name = url.rsplit("/",1)[1]async with aiohttp.ClientSession() as session: #aiohttp.ClientSession() 等价于 requestsasync with session.get(url) as resp:#get请求的时候会花时间async with aiofiles.open(name,mode="wb") as f: #with能够操控文件管理 自动close()await f.write(await resp.content.read()) #resp.content.read()等价于resp.content#上面两个部分都需要等待 一个是写 一个是读取print(name,"搞定")
async def main():urls = ["http://kr.shanghai-jiuxin.com/file/2020/1031/563337d07af599a9ea64e620729f367e.jpg","http://kr.shanghai-jiuxin.com/file/2020/1031/small191468637cab2f0206f7d1d9b175ac81.jpg","http://kr.shanghai-jiuxin.com/file/2020/1031/smalld7de3f9faf1e0ecdea27b73139fc8d3a.jpg"]tasks = [] #存储异步对象for url in urls:tasks.append(asyncio.create_task(download(url)))await asyncio.wait(tasks)
if __name__ == '__main__':t1 = time.time()asyncio.run(main())t2 = time.time()print(t2-t1)#测试运行时间

该处使用的url网络请求的数据。

总结

需要注意的就是tasks里面的元素在继python3.8的时候要记得用asyncio.creat_task(来获得元素) 不然会报错图片的url的话可以先用同步获取异步也行

python爬虫之协程理解爬取照片的简单版相关推荐

【Python 多线程vs协程】爬取西游记
为了有效的学习和加深对于线程和协程的认知,将同一个任务用不同思路呈现很有帮助. 这里通过使用多线程以及协程两种方式对西游记的篇章内容进行爬取,来对比一下两者的耗时差异. 首先,多线程爬取. 这里没有限 ...
python协程多任务爬取虎牙美女主播图片
使用正则.协程多任务爬取虎牙海量美女图片,斗鱼也一样,只需将正则表达式中的内容换一下即可,由于斗鱼网站的变化,之前的正则已用不了,现贴出新的: re.findall(r"https:// ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度产品列表|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
Python 爬虫实战，模拟登陆爬取数据
Python 爬虫实战,模拟登陆爬取数据从0记录爬取某网站上的资源连接: 模拟登陆爬取数据保存到本地结果演示: 源网站展示: 爬到的本地文件展示: 环境准备: python环境安装略安装r ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
Python爬虫笔记（3）- 爬取丁香园留言
Python爬虫笔记(3)- 爬取丁香园留言爬取丁香园留言:主要用到了模拟登录爬取丁香园留言:主要用到了模拟登录 import requests, json, re, random,time fr ...

python爬虫之协程理解爬取照片的简单版

文章目录

前言

一、引入库

二、使用步骤

1.上代码

总结

python爬虫之协程理解爬取照片的简单版相关推荐

最新文章

热门文章