python爬取网盘分享链接_Python实战三 | 蓝奏网盘抓取网盘链接信息
今天在使用蓝奏网盘的时候发现有一个文件夹加密分享,然后我就尝试了加密文件夹,但是文件夹下的文件还是可以直接通过访问该文件链接得到,所以对于文件夹加密是否显得有点鸡肋了呐?
如此,我们便简单的使用Python爬虫来实现一下:
1.抓取网盘链接+文件名
2.作用:存为文本文件,当我们需要什么资料的时候或许就可以通过Ctrl+F快速搜索,从而得到我们想要的资源<_>
实现:
1.分析:
...
如此,我们便分析到,这个网站的文件链接极大可能是通过文件数量递增来的,我们继续分析。
我们在对url的有效数字大小判断
然而只有在167xxxx范围,当然我们不信怎么才会只有这么一点
再次分析原来是有的资源被取消分享了,所以会出现资源不存在的情况!
抓包分析知道:GET请求
因此,我们开始尝试写获取网页的代码
代码运行如下:
貌似,为啥?可以直接请求https???Excuse me
百度也可以。。。
那就先不管了。。。因为以前都是需要的,百度一下,在某个大神博客截图说明一下,
我们继续,等会儿通过判断返回的状态码来确定是否继续执行下一步。
既然HTTPS没问题了,那么问题现在就简单了:
print(res.status_code)#输出状态码为整数型
如此成功顺利
接下来尝试少量数据获取:
发现有获取不到文件的情况
原本是有文件的,只是被取消了,但是我们存储的数据利肯定不能有这些无效数据啊
所以必须得优化,补充一下,访问这种情况,网页的状态码也为200
获取的标题长度为7我们则认为此时文件被取消,虽然有点勉强,但是测试时基本没啥问题,因为有文件名的文件title长度为7+len(文字),至于这个七字节来自于' --- '
所以我们有理由相信,如果字符串title的长度为7,则文件不存在,则取消探索,这样做没较大的问题。
So,再写入文件中即可。
从早上7:45开始运行...
上完课回来已经12:38了,先结束吧。
下节课讲如何利用python模拟登陆保持会话。
关于这个爬取网盘项目还要继续下去,有惊喜哦~哈哈~注:本文属于原创文章,转载请注明本文地址!
作者QQ:1099718640
Github开源项目:暂无开源
python爬取网盘分享链接_Python实战三 | 蓝奏网盘抓取网盘链接信息相关推荐
- Python爬虫实战三 | 蓝奏网盘抓取网盘链接信息
今天在使用蓝奏网盘的时候发现有一个文件夹加密分享,然后我就尝试了加密文件夹,但是文件夹下的文件还是可以直接通过访问该文件链接得到,所以对于文件夹加密是否显得有点鸡肋了呐? 如此,我们便简单的使用Pyt ...
- php取网盘真实链接,利用蓝奏做个人小文件网盘和获取真实下载地址
原标题:利用蓝奏做个人小文件网盘和获取真实下载地址 之前已经有人分享过蓝奏云盘直链获取教程和源码,但是或已经失效,或只能用于电脑. 按照之前网友分享的思路,对蓝奏的手机端页面进行分析: 分享的网盘链接 ...
- python爬取豆瓣电影并分析_Python实战之如何爬取豆瓣电影?本文教你
爬虫又称为网页蜘蛛,是一种程序或脚本. 但重点在于,它能够按照一定的规则,自动获取网页信息. 爬虫的基本原理--通用框架 1.挑选种子URL: 2.讲这些URL放入带抓取的URL列队: 3.取出带抓取 ...
- Thinkphp开发的云盘宝网盘赚钱系统源码/仿蓝奏百度网盘限速下载系统/分享赚钱网盘系统
演示地址:http://www.xhymsq.com/thread-27590-1-1.html 源码说明:Thinkphp开发的云盘宝网盘赚钱系统源码/仿蓝奏百度网盘限速下载系统/分享赚钱网盘系统, ...
- 【Python】Python3网络爬虫实战-27、Requests与正则表达式抓取猫眼电影排行
本节我们利用 Requests 和正则表达式来抓取猫眼电影 TOP100 的相关内容,Requests 相较于 Urllib 使用更加方便,而目前我们还没有系统学习 HTML 解析库,所以可能对 HT ...
- python简单爬虫代码-python爬虫超简单攻略,带你写入门级的爬虫,抓取上万条信息...
原标题:python爬虫超简单攻略,带你写入门级的爬虫,抓取上万条信息 最近经常有人问我,明明看着教程写个爬虫很简单,但是自己上手的时候就麻爪了...那么今天就给刚开始学习爬虫的同学,分享一下怎么一步 ...
- Python3网络爬虫实战-27、Requests与正则表达式抓取猫眼电影排行
本节我们利用 Requests 和正则表达式来抓取猫眼电影 TOP100 的相关内容,Requests 相较于 Urllib 使用更加方便,而目前我们还没有系统学习 HTML 解析库,所以可能对 HT ...
- 【实战+源码】RGB-D移动抓取服务机器人(三)——3D目标识别定位(相机标定、ORK、linemod、find_object_2d/3d)
因为冠肺疫情的原因,在家效率不高,但时间充沛,就针对3D目标的相关东西梳理一下. 完整代码github托管地址:https://github.com/pengxinyi-up/mobile-grab- ...
- 抖音短视频数据抓取实战系列(十二)——抓取实战BUG总集
抖音短视频数据抓取实战系列(十二)--抓取实战BUG总集 1.模拟器自带的Xposed框架无法安装. 2.Fiddler无法监测雷电模拟器上的数据. 3.模拟器抖音用户详情页为空(未解决). 4.pi ...
- 非常【刑】又可【拷】的fiddler抓包实战 涵盖使用教程/下载安装/抓取手机app
Fiddler是一款非常强大的网络抓包工具,可以帮助我们分析HTTP/HTTPS协议的流量,从而深入了解网站的运行机制,发现安全风险和性能问题.下面是Fiddler工具的基础使用方法. 视频教程:非常 ...
最新文章
- IDEA 真牛逼,900 行又臭又长的类重构,几分钟搞定?真香!
- productFlavors 差异打包问题
- Java调用JavaScript
- JAVA中List的几个方法
- intraweb php,使用 IntraWeb (40) - 自定义 Session 数据
- 【渝粤教育】电大中专新媒体营销实务 (11)作业 题库
- 原型 - 实现自己的jQuery
- JavaScript学习随记——常见全局对象属性及方法
- 华为鸿蒙等不急了,华为最强巨作,鸿蒙OS+六摄+麒麟985,网友:等不及了!
- php实现ftp上传,PHP_PHP实现ftp上传文件示例,FTP上传是PHP实现的一个常见且 - phpStudy...
- 刘强东退出武汉京东世纪贸易有限公司经理一职
- maya 阿诺德水晶材质_Maya教程之Arnold材质
- 【项目实战一】基于人工神经网络ANN的车牌识别
- html象棋游戏源码分享
- 重温计算机简史:从石头计数到计算机
- [JS真好玩] 掘金创作者必备: 监控每天是谁取关了你?
- 一个“编码十几年”的『老程序员』分享的四点心得
- 关于限流熔断Sentinel总结
- 计算机网络物联网论文,物联网技术及其应用_计算机网络论文.doc
- Java爬虫获取豆瓣的短评数据