半次元收藏夹爬虫(残疾版,不喜勿喷)
观察了一天的半次元网站的动态请求,并没有什么实质进展(懵逼)
所以只能制作出一个半自动化的程序,至少可以加快获取图片的速度
首先点击我的收藏,这样就可以收到包含收藏夹信息的返回(感觉描述有点怪怪的)
现在开始分析请求
我用直线划掉的是每个账号的uid,这个没什么必要,需要注意的是since的值和_signature的值。尤其要注意的是_signature的值,因为我至今为发现每次请求间这个值变化的规律。
看看我们需要的信息在哪里,并且规划怎么获取。这就是一个字典套着一个字典(禁止套娃,滑稽)
开始放码
import requests
from index_mode import img_indexdef get_data(uid,since,ture):url = 'https://bcy.net/apiv3/user/favor?uid='+uid+'&ptype=collect&mid='+uid+'&since='+since+'&size=35&_signature='+turehead = {'referer': 'https://bcy.net/u/4054592435529779/like/collect','user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400','x-requested-with': 'XMLHttpRequest',}response = requests.get(url,headers = head)json = response.json()return jsondef json_index(since,ture,end):json = get_data(since,ture)like_list = json['data']['list']number = 0for data in like_list: #遍历list中的元素number += 1item_id = data['item_detail']['item_id']url = 'https://bcy.net/item/detail/'+str(item_id)+'?_source_page=profile'img_index(url)if number == end: #由于不是每次都需要将整个收藏夹中的信息都获取下来,所以设置了数量breakelse:passdef main():uid = '' #账号uidsince = '' #since的值ture = '' #_signatrue的值end = #结束数量json_index(uid,since,ture,end)if __name__ == '__main__':main()
我在这个python文件一开始引用了一个外部py文件index_mode(tips:不要纠结名字了,变量都要靠翻译)中的img_index()函数。
这个img_index()的编写我放在上一个制作的半次元cos图片爬虫中,请配合上一篇一起食用。
有点诡异的代码,半自动的爬虫也是很大的槽点,但是我已经努力了,我分析链接分析了老久,但没有任何收获。
重命名.py
import osfolder = input('请输入文件夹名:')
file_folder = os.getcwd()+'\\'+foldern = 0
for file_name in os.listdir(file_folder):n += 1#下面我只设置到1000个文件的情况,超出可能会顺序错误,可以自行修改if n < 10:name = '00'+str(n)elif 9 < n < 100:name = '0'+str(n)elif 99 < n < 1000:name = str(n)else:name = str(n)place_number = 0place_number_list = []for t in file_name:if t == '.':place_number_list.append(place_number)place_number += 1Format = file_name[place_number_list[-1]:]save_name = name + Formatoldname = file_folder+'\\'+file_namenewname = file_folder+'\\'+save_nameos.rename(oldname,newname)
如果发现有些图片下载下来不和自己的心意,删除后又担心文件名冲突,可以使用这个程序,这个文件要放在图片文件的上级文件夹中(如下图)
吐槽(文章已结束以下可看可不看)
分析链接分析的真的很烦躁,然后写代码的时候就有点急匆匆的感觉,每次测试前,ctrl^s都要压好几遍,然后【s】键的键轴给压坏了,话说写代码好费键盘啊。问客服修理的价格标准是什么,一个键轴20元,快递自费,吐血。所以我决定亲自操刀自己修。然后淘宝卖一个键轴2元(15个一组),我究竟是给卖键轴的骗了还是被卖键盘的骗了呢?(懵懵的)
键盘坏了,我都不能快乐崩崩崩了,只能用手柄凑合下(笑)
时间 2020/3/5
半次元收藏夹爬虫(残疾版,不喜勿喷)相关推荐
- 半次元cos图片爬虫
这是我第一次写博客,有不足的地方请见谅 先放码 import requests import re import osdef Requests(url,head):while True:try:res ...
- python知乎爬虫收藏夹_Python爬取知乎问题收藏夹 爬虫入门
简介 知乎的网站是比较好爬的,没有复杂的反爬手段,适合初学爬虫的人作为练习 因为刚刚入门python,所以只是先把知乎上热门问题的一些主要信息保存到数据库中,待以后使用这些信息进行数据分析,爬取的网页 ...
- python知乎爬虫收藏夹_知乎福利收藏夹爬虫
前言 本文受到以下专栏文章的影响 本文部分细节需要读者有编写爬虫代码的经验. 没有经验的同学可以访问以下链接学习. 0x01 HTML页面的解析与信息的定位 好的,我们先在chrome里打开这个链接[ ...
- CSDN便捷编辑收藏内容和删除收藏夹(网页版)--图文
1.点击个人头像图标进入 2.进入个人资料界面后点击"编辑资料" 3.进入界面之后点击"我的收藏" 4.进入我的收藏界面之后,选取所需删除的收藏文件夹,点击& ...
- CSDN便捷编辑收藏内容和删除收藏夹(网页版)
真是太笨了!!!!! 是想将收藏的内容加以整理分类,点小星星点的眼花,然后想把不要的文件夹删除,就束手无策了-- 在一番探索下,按照如下方法即可快速移动收藏内容 和删除文件夹! 1.在主页点击头像进入 ...
- 【易语言作品】夜猫护眼宝 PC版 大神勿喷,语言是国产的易语言!
可保护您长时间或夜晚坐在电脑桌前,给您最大的眼睛保护!夜猫护眼宝电脑版是一款蓝光过滤软件.通过该软件,可以有效降低电脑辐射,减少对眼睛的伤害,是专为办公人员.游戏玩家等长时间对着电脑人群而设计.根据时 ...
- 半次元获取收藏夹下所有的图片
第一次写文章,写的内容有点少,请见谅哈. 一个链接,就可以下载收藏夹的所有图片了,也就是"我的喜欢"的所有图片. 半次元的coser们都是那么好看,每次都会忍不住去点赞收藏,时不时 ...
- python 异步协程爬虫-半次元图片
python 异步协程爬虫-半次元图片 1. 页面分析 2.代码大体构思 3.源码分析 3.1 完成效果 4.异步协程的优势 5.难点分析 6.可扩展性 欢迎私信或评论区交流 爬取网址 : https ...
- phantomjs java 爬虫_项目 | Java+PhantomJs爬虫实战——半次元 下载高清原图
写在前面 前段时间实习结束回来休息,某日闲逛无意间又打开了半次元,突然看见几个好漂亮的coser小姐姐,就想存个图片当壁纸(づ ̄3 ̄)づ╭❤- 然而又发现,很多小姐姐都设置了作品禁止保存或者是右下角带 ...
- 桔子浏览器电脑版收藏夹位置在哪里 收藏夹位置路径
桔子浏览器电脑版收藏夹位置在哪里?有很多用户将之前浏览的网页保存到了收藏夹里,不知道在哪里可以找到,下面通过这篇文章给大家讲解一下. 桔子浏览器电脑版收藏夹位置在哪里 收藏夹位置路径 桔子浏览器PC版 ...
最新文章
- mac 安装android jdk,Mac上 配置Android Sutdio的Java JDK环境
- Modernizr:HTML5和CSS3的开发利器
- combobox DataGridView
- linux deepin20.5配置WebStorm桌面快捷方式:webstorm.desktop
- RxJs SwitchMapTo 操作符之移花接木
- 企业数字化转型与中台建设全攻略:什么阶段进行?有哪些方法?
- UE4 Hello Slate
- 关于v8 Javascript engine 的使用方法研究 (二)转
- 白城师范学院计算机系鲍金玲,企业绩效考核方法的比较与借鉴
- PHP开发api接口安全验证
- [4G/5G/6G专题基础-155]: 5G 3GPP高精确室内定位原理、AI方案概述
- C++Primer笔记-A003-decltype使用
- CCF 201712-4 行车路线
- 万字长文,分享腾讯面试攻略
- HTML5(李炎恢)学习笔记一 ------------- HTML5的概述
- 电源模块电路中电容的作用
- 关于正当防卫的几个案例分析
- win10固定到开始屏幕图标不显示
- Ripple(瑞波)会是下一个金融科技巨头吗?
- MySQL【六】约束条件
热门文章
- 电脑白屏,电脑白屏是怎么回事?是系统的原因还是
- 各种品牌电脑U盘启动快捷键
- 按键精灵抓取不到的问题
- 计算机打开管理闪退,win10任务管理器闪退怎么解决-解决win10任务管理器闪退的方法 - 河东软件园...
- html实现连线插件,手动实现HTML插件Beautify
- C语言:请自定义函数求两个数的和、差、积、商!
- OSPF笔记(二):OSPF邻居与邻接、DR与BDR选举
- 转录组+云平台助力HIF-1α促进冠状病毒感染的分子机制研究
- MA5671 上海联通配置指南
- 微信H5域名被屏蔽被拦截的最新解决方案(微信域名防投诉)