异步获取到图虫上的图片

所用到的库：

关于python的异步协程所用到的两个库 aiohttp 和 asyncio，能够实现异步请求，这里我为什么使用异步而不是使用requests的同步多线程，其中有几点:

第一点：在获取图片和视频这类数据上异步是要比同步快的，因为同步请求的时候每一个线程必须要走完一遍全程直到把数据保存下来才算任务结束。在这过程中，如果图片或者视频数据过大，需要等待网站返回其数据，在保存的时候也需要等待写入，这一过程中咱们是没有执行任何的操作，也就是白白浪费了这一段的时间。而异步在遇到这样的情况时，会将任务挂起，然后去执行别的任务，充分的利用上这一段空白的时间，当然速度会比同步快上许多。

第二点：同步在密集型IO操作其速度是不如异步的，原因也如上所述。

代码部分：

先进入图虫观察网页的格式规律，发现图虫每一种类型的照片都会分一个部分展示出来，我们就挑一个风景的Q4自然风光下载TOP - 图虫创意-全球领先正版素材库-Adobe Stock中国独家合作伙伴

点每一张图片都会直接在原来的页面上弹出一个窗口，我们打开我们的Network工具进行抓包

如果同时加载出来的包太多，我们可以拿出一个关键字对他进行搜索，我们这里就拿这个的图片编号来操作，也可以用名字。可以看到是第二个包加载了这个图片，进入对应的url就能看到我们想要的图片了

接着下一张图片

这时候对比两张图片的url就能够找到规律

他是根据图片的编号进行加载的，我们只需要把这个页面上所有图片的编号获取下来，套入url里面就能够拿到所有的图片数据了。

继续抓包我们就能够发现在这一个包里带有这个页面上所有图片的编号image_id，共一百张，我们请求这个包的url拿到响应的数据就能够下载这一百张图片啦！

这一部分的代码实现

import asyncio
import aiohttp
import pprint
import random
import jsonpathsem = asyncio.Semaphore(10)
session = aiohttp.ClientSession()
async def get_response(url):'''请求数据'''headers = {'referer': 'https://stock.tuchong.com/topic?topicId=50346&from=%E7%B2%BE%E9%80%89%E5%9B%BE%E9%9B%86-%E4%B8%8B%E8%BD%BD%E6%8E%92%E8%A1%8C-%E5%AD%A3%E5%BA%A6%E6%A6%9C%E5%8D%95','cookie': 'source=extbaidupz1; creative_device_id=1b4bcf62-a38c-440d-86fb-370bca2bbf47; _tea_utm_cache_1224={%22utm_source%22:%22extbaidupz1%22%2C%22utm_term%22:%22sem_baidu_pz_duocai_tuchong01%22}; _tea_utm_cache_4682={%22utm_source%22:%22extbaidupz1%22%2C%22utm_term%22:%22sem_baidu_pz_duocai_tuchong01%22}; creative_token=eyJhbGciOiJIUzM4NCIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE2NTAxMTI3NzQsInZhbCI6IkNWM1RNV0Y2VVFCSkVCWkJJSTRDUDVCVlVKSFRERjJPUkdMRkg3QVQyR0pBSVNIN0I1NFEifQ.J461jBnObypzbfW7wi7HkDgOdpbO3RmHrMl-Ieh-bo4lSuLr9GZVs9Hl2mG_pjNd; Hm_lvt_f212e14a5ffb8199fd0e64061c054314=1650374933,1650378598,1650442802,1650442802; Hm_lvt_eaa57ca47dacb4ad4f5a257001a3457c=1650442803; Hm_lpvt_eaa57ca47dacb4ad4f5a257001a3457c=1650442803; Hm_lpvt_f212e14a5ffb8199fd0e64061c054314=1650442934','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'}async with sem:         # 限制并发try:async with session.get(url=url, headers=headers) as response:await asyncio.sleep(random.uniform(1, 1.5))return await response.json()except:print('请求失败:', url)#async def save(url):
#    '''保存图片'''async def main():'''主函数'''global sessionsession = aiohttp.ClientSession()           # 创建会议url = 'https://stock.tuchong.com/api/search/similar/image?image_id=914495302984269898&page=1&platform=&size=100&sort_by=0&term='scrape_index_task = [asyncio.ensure_future(get_response(url))]result = await asyncio.gather(*scrape_index_task)for data in result:image_id = jsonpath.jsonpath(data, '$.data.hits.[0:].image_id')         # 获取所有的图片编号print(image_id)await session.close()if __name__ == '__main__':asyncio.get_event_loop().run_until_complete(main())

可以看到是已经拿到所有的图片编号了

最后带上这些id去请求就可以拿到图片的数据啦！