python使用异步下载高清大图

这次我选择了去下载无版权高清图片，因为做自媒体的人很怕侵权，找无版权的图片仿佛成了日常工作，所以这次我选择了这个网站

https://unsplash.com/

那下面来看看使用异步以及不使用异步的差别？

(右边是使用异步的，左边是没有使用异步的，由于用于测试，所以选择下载12张图片即可)

可以看到，在使用异步之后运行的时间比不使用异步的程序少了差不多6倍的时间，是不是感觉到high了起来？那我们分析下怎样爬取吧。

1.找目标网页

这个网站首页就有一堆图片，而且往下拉时还会自动刷新，很明显是个ajax加载，但不怕，动态加载这东西我们之前讲过了，所以打开开发者工具看下是怎样的请求吧。

往下拉的时候很容易看到这个请求，这个是一个get请求，状态码为200，网址为https://unsplash.com/napi/photos?page=3&per_page=12&order_by=latest，有三个参数，很容易知道page参数就是页，这个参数是变化的，其他的参数都是不变的。

返回来的内容是个json类型，里面的links下的download就是我们图片下载的链接，现在所有东西都清楚了，那下面就是代码了。

2.代码部分

async def __get_content(self, link):async with aiohttp.ClientSession() as session:response = await session.get(link)content = await response.read()return content

这个是获取图片的内容的方法，aiohttpClientSession和requests.session的用法是差不多，只不过获取unicode编码的方法变成了read()。

下面是完整代码

import requests, os, time
import aiohttp, asyncioclass Spider(object):def __init__(self):self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}self.num = 1if '图片' not in os.listdir('.'):os.mkdir('图片')self.path = os.path.join(os.path.abspath('.'), '图片')os.chdir(self.path)  # 进入文件下载路径async def __get_content(self, link):async with aiohttp.ClientSession() as session:response = await session.get(link)content = await response.read()return contentdef __get_img_links(self, page):url = 'https://unsplash.com/napi/photos'data = {'page': page,'per_page': 12,'order_by': 'latest'}response = requests.get(url, params=data)if response.status_code == 200:return response.json()else:print('请求失败，状态码为%s' % response.status_code)async def __download_img(self, img):content = await self.__get_content(img[1])with open(img[0]+'.jpg', 'wb') as f:f.write(content)print('下载第%s张图片成功' % self.num)self.num += 1def run(self):start = time.time()for x in range(1, 101):  # 下载一百页的图片就可以了，或者自己更改页数links = self.__get_img_links(x)tasks = [asyncio.ensure_future(self.__download_img((link['id'], link['links']['download']))) for link in links]loop = asyncio.get_event_loop()loop.run_until_complete(asyncio.wait(tasks))if self.num >= 10:  # 测试速度使用，如需要下载多张图片可以注释这段代码breakend = time.time()print('共运行了%s秒' % (end-start))def main():spider = Spider()spider.run()if __name__ == '__main__':main()

可以看到不到50行的代码就可以把整个网网站的图片下载下来了，不得不吹一下python的强大~~~

python使用异步下载高清大图相关推荐

python爬虫批量下载高清大图
文章目录前言下载免费高清大图下载带水印的精选图代码与总结前言在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片!中,我们在未登录的情况下实现了图虫创意无水印高清小 ...
第二弹！python爬虫批量下载高清大图
文章目录前言下载免费高清大图下载带水印的精选图代码与总结前言在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片!中,我们在未登录的情况下实现了图虫创意无水印高清小 ...
python爬虫批量下载高清大图
推荐原来的博主文章https://blog.csdn.net/qq_40693171/article/details/102220448
vscode在html看到图片的插件_利用花瓣插件下载高清大图
作为设计师,我们经常需要下载一些图片作为灵感参考或者设计素材,但是有时我们在一些网站上无法下载到被"隐藏"的高清大图.那么今天帮主就来和大家分享一个小技巧利用花瓣插件下载高清大 ...
python爬虫如何下载高清图片
代码编写爬虫编写提取精选图片页面中的套图链接 detail_urls = response.xpath("//ul[@class='content']/li/a/@href") ...
爬虫案例：利用python爬虫关键词批量下载高清大图
环境: python3+pycharm+requests+re+BeatifulSoup+json 这个确实也属实有一些勉强,不少童鞋私信问我有木有下载大图的源码,我说可能会有,现在分享给大家. ...
利用python爬虫关键词批量下载高清大图！
前言在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片 !中,我们在未登录的情况下实现了图虫创意无水印高清小图的批量下载.虽然小图能够在一些移动端可能展示的还行,但是 ...
爬虫python创意_爬虫案例：利用python爬虫关键词批量下载高清大图
环境: python3+pycharm+requests+re+BeatifulSoup+json 这个确实也属实有一些勉强,不少童鞋私信问我有木有下载大图的源码,我说可能会有,现在分享给大家. ...
使用爬虫下载汽车之家高清大图
好久没写爬虫,今天算是复习下Scrapy,正所谓温故而知新. 这次爬取的目标网站是汽车之家的精选高清大图. 先看看运行结果吧页面分析下面我们来分析一下图片精选页面这个页面中全部都是套图,我们打开 ...

python使用异步下载高清大图

python使用异步下载高清大图相关推荐

最新文章

热门文章