python实战-JSON形式爬虫-批量爬取图片并下载

文章目录

一、前言
二、思路
- 1、网站返回内容
- 2、url分页结构
- 3、根据请求快速构造代码
- 三、具体代码的实现
四、总结

一、前言

上一篇文章已经对html形式的爬虫进行实战，批量爬取电影下载链接，接下来将实战json形式爬虫，批量爬取并下载图片。

对python爬虫还没有了解的小伙伴可以先看看这一篇内容基于python爬虫快速入门，上篇在JSON形式讲解的代码示例就已经获取了图片链接，那么接下来将就是继续上手实战，敏感内容我会打码，主要学习的是思路。

https://blog.csdn.net/syl321314362/article/details/127780756

二、思路

首先我们第一步先是分析目标网站的请求结构，页面是怎么返回渲染的，分页形式是怎么样的，所以弄大体的结构才有好的思路，把思路用代码的方式实现。

1、网站返回内容

首先我们可以打开浏览器的开发工具页面（快捷键 F12），通过网络请求查看对应的请求去判断，也可以直接python写一个request请求。这里通过浏览器的开发工具页面（快捷键 F12）查看网页的请求，网站渲染是通过请求接口的形式返回json数据进行渲染。

展开json就可以看到图片的下载链接，我们来访问看看。

2、url分页结构

网站采用的是滚动分页加载的形式，所以请求接口的时候带有两个参数，page（第几页）与per_page（每页多少张图片），返回json没有说明一共有多少页，所以就爬取1到4页的图片。

3、根据请求快速构造代码

这里推荐一个特别好用的网站，复制网络请求中的curl请求信息，复制到网站中就能快速生产各种语言的代码，真香神器。

https://curlconverter.com/

复制cURL。

粘贴到curl command框中，下面就生成对应语言代码，香呀。

三、具体代码的实现

运行前先安装lxml库

pip install lxml

import requests
import urllib
import random
import recookies = {'_ga': 'GA1.2.294029689.1668613838','_gid': 'GA1.2.1578205936.1668613838','uuid': '6a878630-65c6-11ed-a23a-551fd52d77f3','xpos': '%7B%7D','azk': '6a878630-65c6-11ed-a23a-551fd52d77f3','azk-ss': 'true','ugid': '8c44fb7cee50f5d0e8c3ef84991208345562046','un_sesh': 'TzJRV3RTZFNtcWpBTjYrKy8vWDdXaTBVVm4wWDNWWFlqWmFmVjJ4dXBmdHFEeTArK1QwdkpuSWMzRFBHeVp2Wnh1QlpBdEh1RklHRnFPdU9hVklGOEVvUFZSUXVhSXQ3b1NySk9lRnFGRWdoQyt4NW4vQVVGUVdyOE40RzJGbkdGemd0bzBJS2VLS0M2SmQreGMxRnZESEVHUm45Wkk4UjhUbTV3MWZMVlFsV29tY1VZcGpWOStqN1BRQ2FqZENXQnhXemU5S0V3VGxsTjQ2K2dSVGFPNGJrSFBleDNaQ01xWVJ4bCt4Q08wdDFvRW10bE5Wd2ozejJTc3hrOTkxRlRESTFuOUd5UmxNa1JZazRrSjhhcnNPM3BEallZOHZaL01DMVFXQTVPVU09LS1MaEZ6dXZkV3FlRzlidmgva3hzdEJBPT0%3D--bf5872292f3fba03b72bbd9827f07605e3c9c537','lux_uid': '166867509113318314','_sp_ses.0295': '*','_sp_id.0295': '74f1ced4-7111-4ddd-9d6f-6c24af670a81.1668613838.2.1668675780.1668613839.9f66e938-c5fa-4248-9863-f7224b0f0e6c',
}headers = {'authority': 'unsplash.com','accept': '*/*','accept-language': 'en','cache-control': 'no-cache',# Requests sorts cookies= alphabetically# 'cookie': '_ga=GA1.2.294029689.1668613838; _gid=GA1.2.1578205936.1668613838; uuid=6a878630-65c6-11ed-a23a-551fd52d77f3; xpos=%7B%7D; azk=6a878630-65c6-11ed-a23a-551fd52d77f3; azk-ss=true; ugid=8c44fb7cee50f5d0e8c3ef84991208345562046; un_sesh=TzJRV3RTZFNtcWpBTjYrKy8vWDdXaTBVVm4wWDNWWFlqWmFmVjJ4dXBmdHFEeTArK1QwdkpuSWMzRFBHeVp2Wnh1QlpBdEh1RklHRnFPdU9hVklGOEVvUFZSUXVhSXQ3b1NySk9lRnFGRWdoQyt4NW4vQVVGUVdyOE40RzJGbkdGemd0bzBJS2VLS0M2SmQreGMxRnZESEVHUm45Wkk4UjhUbTV3MWZMVlFsV29tY1VZcGpWOStqN1BRQ2FqZENXQnhXemU5S0V3VGxsTjQ2K2dSVGFPNGJrSFBleDNaQ01xWVJ4bCt4Q08wdDFvRW10bE5Wd2ozejJTc3hrOTkxRlRESTFuOUd5UmxNa1JZazRrSjhhcnNPM3BEallZOHZaL01DMVFXQTVPVU09LS1MaEZ6dXZkV3FlRzlidmgva3hzdEJBPT0%3D--bf5872292f3fba03b72bbd9827f07605e3c9c537; lux_uid=166867509113318314; _sp_ses.0295=*; _sp_id.0295=74f1ced4-7111-4ddd-9d6f-6c24af670a81.1668613838.2.1668675780.1668613839.9f66e938-c5fa-4248-9863-f7224b0f0e6c','pragma': 'no-cache','referer': 'https://xxxxx.com/t/nature','sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"windows"','sec-fetch-dest': 'empty','sec-fetch-mode': 'cors','sec-fetch-site': 'same-origin','user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1',
}for i in range(1, 5):params = {'page': i,'per_page': '20',}response = requests.get('https://xxxxx.com/napi/topics/nature/photos', params=params, cookies=cookies,headers=headers)print(len(response.json()))if response.status_code == 200:for imageUrls in response.json():try:pattern = re.compile(r'(ixid=)(.*)')imageUrl = imageUrls['links']['download']fileName = "./images/" + pattern.search(imageUrl).group(2) + str(random.randint(1, 10000)) + ".png"downloadImage = urllib.request.urlretrieve(imageUrl, filename=fileName)print("已下载: ", downloadImage)except Exception as e:print("Error: ", e)continue

四、总结

技术是一把双刃剑，就看持剑的人是怎么想的，爬虫有风险，操作需谨慎，爬虫被判刑的例子比比皆是，需谨慎。关注我，微信搜索艺说IT公众号还有更多技术干货，对你有帮助请点个赞，感谢各位帅哥美女。