素材要VIP咋整?看python大展神通
前言
嗨喽~大家好呀,这里是魔王呐 ❤ ~!
再我们缺少素材的时候,我们第一反应
我们肯定会去网上寻找,但是!!
有的素材需要VIP!这可咋整呢?
看我利用python大展神通,采集某图网图片数据
完整源码、python资料: 点击此处跳转文末名片获取
本次目标
利用知识点:
动态页面分析
动态数据抓包
requests
开发环境:
版 本: python 3.8
编辑器: pycharm 2022.3.2
requests >>> pip install requests
如何安装python第三方模块:
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令
代码展示
图片的构建规律
https://photo.***.com/{作者id}/f/{当前图片id}.jpg
完整代码、教程、学习可点击此+群 免费领
导入模块
import requests
import parsel
网址放出来就过不了审啦,大家自行添加吧
headers = {'cookie': 'PHPSESSID=a6phn4ue7180gv3lu9ptdefu15; webp_enabled=1; lang=zh; log_web_id=6142749383; ttcid=33eb5efe64ce4d7ab777615d594b674c35; tt_scid=iiNP.JKSffhMzg6Ij8Wvc1QUUUp34mxhxh8tTbKXVDKz.iGDujlYmC9Y8vT-OaVDdb39','referer': 'https://****.com/tags/Cosplay/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',
}
main_url = 'https://*****.com/explore/'
html_data = requests.get(main_url).text
select = parsel.Selector(html_data)
two_url_list = select.css('.tags-all-link::attr(href)').getall()
for two_url in two_url_list:# 'https://****.com/categories/subject/'three_url = 'https://****g.com/rest/tag-categories/' + two_url.split('/')[-2]print(three_url)pages = requests.get(three_url).json()['data']['pages']for page in range(1, pages+1):three_url = 'https://****.com/rest/tag-categories/' + two_url.split('/')[-2] + f'?page={page}&count=20'tag_list = requests.get(three_url).json()['data']['tag_list']for tag in tag_list:tag_url = tag['url']tag_name = tag_url.split('/')[-2]for page in range(1, 101):# 请求与响应url = f'https://***.com/rest/tags/{tag_name}/posts?page={page}&count=20&order=weekly'json_data = requests.get(url=url, headers=headers).json()postList = json_data['postList']for post in postList:author_id = post['author_id']for img in post['images']:img_id_str = img['img_id_str']img_url = f'https:/***.com/{author_id}/f/{img_id_str}.jpg'print(img_url)
效果展示
、
尾语
素材要VIP咋整?看python大展神通相关推荐
- 黑胶歌曲没权限,看我python大展神通,一分钟一个歌单
前言 大家早好.午好.晚好吖 ❤ ~ 人之初,喜白嫖. 大家都喜欢白嫖,我也喜欢,那么今天就来试试怎么白嫖抑云~ 一.需要的准备 1.环境 Python3.6以上 pycharm2019以上 2.模块 ...
- 从自动贩卖机找零看Python中的动态规划问题
原文:http://www.jianshu.com/p/144db81341a3 从自动贩卖机找零看Python中的动态规划问题 问题描述 假设在某国存在[1,x1,x2,x3,...,xn]多种货币 ...
- 如何查看python安装了什么库-怎么看python安装了哪些库
随着使用python的时间越来越长,安装的python模块也越来越多,时间久了都不记得自己之前到底对自己的电脑做过些什么了,于是乎就想要查看一下自己安装的python模块,现将查看方法总结如下 一.命 ...
- python申请内存函数_python进阶用法2 【从帮助函数看python内存申请机制】
前言 介绍了四个帮助函数,dir(),help(),type(),id(),通过id()函数进一步分析了python在申请内存方面的效率问题,提到的基本类型有string,list,queue和deq ...
- 【Python五篇慢慢弹】数据结构看python
数据结构看python 作者:白宁超 2016年10月9日14:04:47 摘要:继<快速上手学python>一文之后,笔者又将python官方文档认真学习下.官方给出的pythondoc ...
- pythonsys标准_python 以标准输出(sys.stdout)为例,看python的标准输入、标准错误输出...
标准输出(sys.stdout)对应的操作就是print(打印)了,标准输入(sys.stdin)则对应input(接收输入)操作,标准错误输出和标准输出类似也是print(打印). python最基 ...
- python查看数据大小_科多大数据带你看Python可以列为最值得学习的编程语言
原标题:科多大数据带你看Python可以列为最值得学习的编程语言 不知道从什么时候开始,这句话开始流行.不过也从侧面反映出 Python 语言的特点:简单.高效. 从近期代表技术趋势的业界报告以及编程 ...
- python自学行吗-零基础如何学习Python?看Python视频就可以吗?
在人工智能爆发的时代,Python有着得天独厚的优势,那么多人学习Python实在不足为奇.但重点在于该如何学?对于很多初学者来说看看Python视频是否就足够了?粤嵌Python培训表示零基础自学的 ...
- python找零方案_从自动贩卖机找零看Python中的动态规划问题
原文:http://www.jianshu.com/p/144db81341a3 从自动贩卖机找零看Python中的动态规划问题 问题描述 假设在某国存在[1,x1,x2,x3,...,xn]多种货币 ...
最新文章
- 发布或重启线上服务时抖动问题解决方案
- 一起学nRF51xx 5 - ppi
- python canvas获取的图片流数据为空
- ipv6链路本地地址ping不通
- Java EE 7中的资源和依赖注入
- JavaScript-jQuery事件
- 机会难得 | 这家上市公司终于招人了
- 操作系统课程设计--银行家算法的模拟实现
- windows server添加角色
- Spring整合Quartz实现动态定时器
- 富士服务器A系列说明书,富士伺服驱动器FALDIC-用户手册.pdf
- Mac Office启动报错:隐藏模块中出现编译错误:link
- 阿里千万级实时监控系统技术揭秘TSDB时序业务场景
- OpenStack Swift报错处理
- Linux进程与任务管理
- 《黑客帝国:矩阵重启》科幻经典回归,你会选择红色药丸还是蓝色药丸
- 数字电视基本概念学习
- Windows绘制点与线
- Protues的一个简单51程序仿真
- 哥氏方程的数学推导与加速度合成定理
热门文章
- 兴寿镇“春踏青,兴寿行”特色旅游线路点靓辛庄
- aws mysql 升级_aws RDS 版本升级最佳实践的探讨
- android 百度地图 gps数据转换百度经纬度
- 【tf.keras】官方教程一 Keras overview
- 玲珑杯”ACM比赛 Round #8-D XJT Loves Boggle(dfs)
- 如何把多张图片合并成一个PDF?
- 渗透测试 面试笔试题
- Telegram Bot Api使用教程
- 当ChatGpt接入微信群之后。。。
- iPad/iPhone内存管理四之viewDidUnload/dealloc详细解说
前言 大家早好.午好.晚好吖 ❤ ~ 人之初,喜白嫖. 大家都喜欢白嫖,我也喜欢,那么今天就来试试怎么白嫖抑云~ 一.需要的准备 1.环境 Python3.6以上 pycharm2019以上 2.模块 ...
原文:http://www.jianshu.com/p/144db81341a3 从自动贩卖机找零看Python中的动态规划问题 问题描述 假设在某国存在[1,x1,x2,x3,...,xn]多种货币 ...
随着使用python的时间越来越长,安装的python模块也越来越多,时间久了都不记得自己之前到底对自己的电脑做过些什么了,于是乎就想要查看一下自己安装的python模块,现将查看方法总结如下 一.命 ...
前言 介绍了四个帮助函数,dir(),help(),type(),id(),通过id()函数进一步分析了python在申请内存方面的效率问题,提到的基本类型有string,list,queue和deq ...
数据结构看python 作者:白宁超 2016年10月9日14:04:47 摘要:继<快速上手学python>一文之后,笔者又将python官方文档认真学习下.官方给出的pythondoc ...
标准输出(sys.stdout)对应的操作就是print(打印)了,标准输入(sys.stdin)则对应input(接收输入)操作,标准错误输出和标准输出类似也是print(打印). python最基 ...
原标题:科多大数据带你看Python可以列为最值得学习的编程语言 不知道从什么时候开始,这句话开始流行.不过也从侧面反映出 Python 语言的特点:简单.高效. 从近期代表技术趋势的业界报告以及编程 ...
在人工智能爆发的时代,Python有着得天独厚的优势,那么多人学习Python实在不足为奇.但重点在于该如何学?对于很多初学者来说看看Python视频是否就足够了?粤嵌Python培训表示零基础自学的 ...
原文:http://www.jianshu.com/p/144db81341a3 从自动贩卖机找零看Python中的动态规划问题 问题描述 假设在某国存在[1,x1,x2,x3,...,xn]多种货币 ...