前言

微博有相册功能，那么我们如何批量下载相册中的所有照片呢？

提示：以下是本篇文章正文内容，下面案例可供参考

一、分析实现思路

因为微博相册也是前后端分离，所以我们先去抓包对应的json数据

这里以李荣浩的相册为例，一共有25页：

分析得出实际的链接应该为：‘https://wx4.sinaimg.cn/large/’ + pic_name
再来看看链接循环爬取的分析

这里只需要更改page的值即可实现循环爬取

二、编写代码

1.引入库

代码如下：

from fake_useragent import UserAgent # 伪装机型
from threading import Thread # 多进程
from queue import Queue # 队列
import requests
import randomheaders = {# cookie 每天会变化，需要即使更换'cookie': 'SINAGLOBAL=74744724261.95033.1605948585466; wvr=6; ''SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9Whrq6C5pCwQBNf5XnQhDpfE5JpX5KMhUgL.Fo''-cehB7eoqpSKM2dJLoIEBLxKBLBonL12BLxKqL1KnL12-LxKnLBKML1h.LxKMLBKqLB.zt; ALF=1641197487; ''SSOLoginState=1609661488; ''SCF=AqFdnOicaqrQ3UjYRBY-C8Kp3PwjrkfR1lPLA0W8mjbwb9rIU1MBf0l9kWk3ahdAXFldqtvqcZ7UW_ehPXfM1JE.; ''SUB=_2A25y9QxgDeRhGeNI61YR8ijNzjuIHXVRg3qorDV8PUNbmtAKLVTukW9NSH08UxX8Md1T1NOxjdEP88XVg1aJmi7t; ''_s_tentry=login.sina.com.cn; Apache=9994350802777.143.1609661492706; ''ULV=1609661492740:9:6:2:9994350802777.143.1609661492706:1609657348149; UOR=,,www.baidu.com; ''webim_unReadCount=%7B%22time%22%3A1609666074015%2C%22dm_pub_total%22%3A0%2C%22chat_group_client%22%3A0''%2C%22chat_group_notice%22%3A0%2C%22allcountNum%22%3A3%2C%22msgbox%22%3A0%7D; ''WBStorage=8daec78e6a891122|undefined',# 从哪里来'referer': 'https://photo.weibo.com/6816603335/talbum/index',# 伪装头'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.66 ',}
# 下载时图片的伪装头
fake = {'User-Agent': UserAgent().random
}
# ip代理池
proxy_pool = [{'HTTP': '183.166.70.110:9999'}, {'HTTP': '58.22.177.215:9999'}, {'HTTP': '175.44.109.28:9999'},{'HTTP': '175.42.128.211:9999'}, {'HTTP': '113.121.76.254:9999'}, {'HTTP': '175.42.122.166:9999'},{'HTTP': '175.42.122.233:9999'}, {'HTTP': '113.121.42.214:9999'}, {'HTTP': '113.195.152.127:9999'},{'HTTP': '175.42.129.78:9999'}, {'HTTP': '171.35.213.172:9999'}, {'HTTP': '113.121.37.163:9999'}]
# 访问json数据的url
url = 'https://photo.weibo.com/photos/get_all'

2.多进程的编写

代码如下：

class SpiderImg(Thread):# 初始化def __init__(self, d):Thread.__init__(self)self.data = d# 重写run方法def run(self):# 当队列不为空的时候下载对应的url下的图片while not self.data.empty():# 取队列a = self.data.get()# 获得id和url数据i_id = list(a.keys())[0]i_url = list(a.values())[0]# 访问链接取得数据img = requests.get(url=i_url, headers=fake, proxies=random.choice(proxy_pool)).content# 将文件写入指定路径下的文件夹with open('E:/SpiderImg/李荣浩/{}.jpg'.format(i_id), 'wb') as t:t.write(img)print(i_id + '.jpg' + ' ' * 4 + '下载完毕' + '.' * 4)

为了开启多进程爬取图片

3.主函数的编写

代码如下：

if __name__ == '__main__':# 初始化队列data_queue = Queue()# 循环for i in range(1, 26):params = {'uid': '1739046981','album_id': '3581934839144367','count': '30','page': i,'type': '3','__rnd': '1609667183074'}print('正在爬取第{}页'.format(i) + '.' * 4)response = requests.get(url=url, params=params, headers=headers).json()# 解析数据photo_list = response.get('data').get('photo_list')for photo in photo_list:# 取得其中的pic_name 和 pic_name pic_name = photo.get('pic_name')pic_name = photo.get('photo_id')photo_url = 'https://wx4.sinaimg.cn/large/' + pic_name# 添加到队列中data_queue.put({photo_id: photo_url})# 开启多进程，根据队列中存放的url数据，下载图片for w in range(64):spider = SpiderImg(data_queue)spider.start()

结果

程序运行结果：

注：案例仅供学习

python实现爬取微博相册所有图片相关推荐

php抓取微博评论,python爬虫爬取微博评论案例详解
前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中,我负责的是数据爬取这块,我主要是把对于杨超越的每一条评论的相关信息. 数据格式:{"name" ...
用python爬虫爬取微博信息
用python爬虫爬取微博信息话不多说,直接上代码! import requests from bs4 import BeautifulSoup from urllib import parse i ...
python+selenium 爬取微博（网页版）并解决账号密码登录、短信验证
使用python+selenium 爬取微博前言为什么爬网页版微博为什么使用selenium 怎么模拟微博登录一.事前准备二.Selenium安装关于selenium 安装步骤三.sel ...
python爬取图解_20行PYTHON代码爬取微博高清大图，小白练手绝佳案例
0. 前戏说明环境说明 python3版本所需库:Beautifulsoup .re .requests 知识点:正则表达式.基本网页请求与解析.文件写入适用人群:小白最终目标:20行代码爬取 ...
c#使用正则表达式获取TR中的多个TD_使用python+BeautifulSoup爬取微博热搜榜
本文将介绍基于Python使用BeautifulSoup爬取微博热搜榜的实现过程 1.首先导入需要使用的库 from bs4 import BeautifulSoup from urllib.requ ...
python爬虫-爬取微博转评赞data信息
利用python简单爬取新浪微博(转发/评论/点赞/blog文本)信息 import requests import json from jsonpath import jsonpath import ...
Python爬虫爬取微博评论案例详解
文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中 ...
Python Ajax爬取微博个人博客数据
文章目录利用request.pyquery.xlwings等库抓取微博个人博客数据. (1)抓取[目标网址](https://m.weibo.cn/u/2830678474) (2)用 Chrome ...
Python爬虫爬取微博热搜保存为 Markdown 文件
微博热搜榜python爬虫,仅供学习交流源码及注释: # -*- coding=UTF-8 -*- #!usr/bin/env pythonimport os import time import ...

python实现爬取微博相册所有图片

文章目录

前言

一、分析实现思路

二、编写代码

1.引入库

2.多进程的编写

3.主函数的编写

结果

python实现爬取微博相册所有图片相关推荐

最新文章

热门文章