前言

嗨喽~大家好呀,这里是魔王呐 ❤ ~!

再我们缺少素材的时候,我们第一反应

我们肯定会去网上寻找,但是!!

有的素材需要VIP!这可咋整呢?

看我利用python大展神通,采集某图网图片数据

完整源码、python资料: 点击此处跳转文末名片获取

本次目标

利用知识点:

  • 动态页面分析

  • 动态数据抓包

  • requests

开发环境:

  • 版 本: python 3.8

  • 编辑器: pycharm 2022.3.2

  • requests >>> pip install requests

如何安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

  2. 在pycharm中点击Terminal(终端) 输入安装命令

代码展示

图片的构建规律

https://photo.***.com/{作者id}/f/{当前图片id}.jpg

完整代码、教程、学习可点击此+群 免费领

导入模块

import requests
import parsel

网址放出来就过不了审啦,大家自行添加吧

headers = {'cookie': 'PHPSESSID=a6phn4ue7180gv3lu9ptdefu15; webp_enabled=1; lang=zh; log_web_id=6142749383; ttcid=33eb5efe64ce4d7ab777615d594b674c35; tt_scid=iiNP.JKSffhMzg6Ij8Wvc1QUUUp34mxhxh8tTbKXVDKz.iGDujlYmC9Y8vT-OaVDdb39','referer': 'https://****.com/tags/Cosplay/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',
}
main_url = 'https://*****.com/explore/'
html_data = requests.get(main_url).text
select = parsel.Selector(html_data)
two_url_list = select.css('.tags-all-link::attr(href)').getall()
for two_url in two_url_list:# 'https://****.com/categories/subject/'three_url = 'https://****g.com/rest/tag-categories/' + two_url.split('/')[-2]print(three_url)pages = requests.get(three_url).json()['data']['pages']for page in range(1, pages+1):three_url = 'https://****.com/rest/tag-categories/' + two_url.split('/')[-2] + f'?page={page}&count=20'tag_list = requests.get(three_url).json()['data']['tag_list']for tag in tag_list:tag_url = tag['url']tag_name = tag_url.split('/')[-2]for page in range(1, 101):# 请求与响应url = f'https://***.com/rest/tags/{tag_name}/posts?page={page}&count=20&order=weekly'json_data = requests.get(url=url, headers=headers).json()postList = json_data['postList']for post in postList:author_id = post['author_id']for img in post['images']:img_id_str = img['img_id_str']img_url = f'https:/***.com/{author_id}/f/{img_id_str}.jpg'print(img_url)

效果展示





尾语

素材要VIP咋整?看python大展神通相关推荐

  1. 黑胶歌曲没权限,看我python大展神通,一分钟一个歌单

    前言 大家早好.午好.晚好吖 ❤ ~ 人之初,喜白嫖. 大家都喜欢白嫖,我也喜欢,那么今天就来试试怎么白嫖抑云~ 一.需要的准备 1.环境 Python3.6以上 pycharm2019以上 2.模块 ...

  2. 从自动贩卖机找零看Python中的动态规划问题

    原文:http://www.jianshu.com/p/144db81341a3 从自动贩卖机找零看Python中的动态规划问题 问题描述 假设在某国存在[1,x1,x2,x3,...,xn]多种货币 ...

  3. 如何查看python安装了什么库-怎么看python安装了哪些库

    随着使用python的时间越来越长,安装的python模块也越来越多,时间久了都不记得自己之前到底对自己的电脑做过些什么了,于是乎就想要查看一下自己安装的python模块,现将查看方法总结如下 一.命 ...

  4. python申请内存函数_python进阶用法2 【从帮助函数看python内存申请机制】

    前言 介绍了四个帮助函数,dir(),help(),type(),id(),通过id()函数进一步分析了python在申请内存方面的效率问题,提到的基本类型有string,list,queue和deq ...

  5. 【Python五篇慢慢弹】数据结构看python

    数据结构看python 作者:白宁超 2016年10月9日14:04:47 摘要:继<快速上手学python>一文之后,笔者又将python官方文档认真学习下.官方给出的pythondoc ...

  6. pythonsys标准_python 以标准输出(sys.stdout)为例,看python的标准输入、标准错误输出...

    标准输出(sys.stdout)对应的操作就是print(打印)了,标准输入(sys.stdin)则对应input(接收输入)操作,标准错误输出和标准输出类似也是print(打印). python最基 ...

  7. python查看数据大小_科多大数据带你看Python可以列为最值得学习的编程语言

    原标题:科多大数据带你看Python可以列为最值得学习的编程语言 不知道从什么时候开始,这句话开始流行.不过也从侧面反映出 Python 语言的特点:简单.高效. 从近期代表技术趋势的业界报告以及编程 ...

  8. python自学行吗-零基础如何学习Python?看Python视频就可以吗?

    在人工智能爆发的时代,Python有着得天独厚的优势,那么多人学习Python实在不足为奇.但重点在于该如何学?对于很多初学者来说看看Python视频是否就足够了?粤嵌Python培训表示零基础自学的 ...

  9. python找零方案_从自动贩卖机找零看Python中的动态规划问题

    原文:http://www.jianshu.com/p/144db81341a3 从自动贩卖机找零看Python中的动态规划问题 问题描述 假设在某国存在[1,x1,x2,x3,...,xn]多种货币 ...

最新文章

  1. 发布或重启线上服务时抖动问题解决方案
  2. 一起学nRF51xx 5 -  ppi
  3. python canvas获取的图片流数据为空
  4. ipv6链路本地地址ping不通
  5. Java EE 7中的资源和依赖注入
  6. JavaScript-jQuery事件
  7. 机会难得 | 这家上市公司终于招人了
  8. 操作系统课程设计--银行家算法的模拟实现
  9. windows server添加角色
  10. Spring整合Quartz实现动态定时器
  11. 富士服务器A系列说明书,富士伺服驱动器FALDIC-用户手册.pdf
  12. Mac Office启动报错:隐藏模块中出现编译错误:link
  13. 阿里千万级实时监控系统技术揭秘TSDB时序业务场景
  14. OpenStack Swift报错处理
  15. Linux进程与任务管理
  16. 《黑客帝国:矩阵重启》科幻经典回归,你会选择红色药丸还是蓝色药丸
  17. 数字电视基本概念学习
  18. Windows绘制点与线
  19. Protues的一个简单51程序仿真
  20. 哥氏方程的数学推导与加速度合成定理

热门文章

  1. 兴寿镇“春踏青,兴寿行”特色旅游线路点靓辛庄
  2. aws mysql 升级_aws RDS 版本升级最佳实践的探讨
  3. android 百度地图 gps数据转换百度经纬度
  4. 【tf.keras】官方教程一 Keras overview
  5. 玲珑杯”ACM比赛 Round #8-D XJT Loves Boggle(dfs)
  6. 如何把多张图片合并成一个PDF?
  7. 渗透测试 面试笔试题
  8. Telegram Bot Api使用教程
  9. 当ChatGpt接入微信群之后。。。
  10. iPad/iPhone内存管理四之viewDidUnload/dealloc详细解说