Python爬虫之bili站的正确打开方式

我用 Python 对 b 站的小视频进行了爬取，因为是小视频，大小平均在 5 兆以内。排队时，没网络也能看小姐姐了，爽啊。文末给出了源码获取方式。

b 站小视频地址：

http://vc.bilibili.com/p/eden/rank#/?tab=全部

我爬取了每日的小视频排行榜，学会了每日的，爬取本周、本月的就非常简单了，改个标签就行，稍后详细分析会讲到。以下是爬取结果。

项目环境

语言：Python3
工具：Pycharm

程序结构

主要由 3 部分组成：

get_json()：提取目标网页的 json 数据信息。
downloader()：下载小视频并显示下载进度。
主函数：循环下载视频直到下载完毕。

代码分析

打开网站往下滑动，视频是动态加载的，打开调试工具，向下滑动加载视频，查看 Headers 中 url ，url 中前面部分的链接是不变的，提取出来。（左右滑动查看全部代码）

http://api.vc.bilibili.com/board/v1/ranking/top?

观察下方参数的变化，发现只有 next_offset 这个字段在变，每次都比前一个多 10。

这就好办了，我们把参数部分单独拿出来，把可变的 next_offset 写成变量，返回目标网页的 json 数据。

接下来，我把小视频下载下来，为了美观，我做了个下载器，显示下载速度。效果如下。

此处有个地方需注意下，请求目标网页时必须带上此网页的 headers 信息，网站做了反爬操作，否则下载下来的视频是空的，部分代码如下。（ps：大家运行代码时把 headers 换成自己浏览器在本网页的 headers 即可）

主函数中为了提取更多视频，我们把 next_offset 这个变量做个循坏，然后从 json 数据中提取视频的标题和可下载的链接。观察下页面的 json 数据结构就可以轻松获取文章标题和下载链接数据。

为了防止有些视频没有提供下载链接的情况，我加了异常处理，细心的朋友应该发现了文章前面给的效果图只有84个视频，原因就在此。最后，为了防止 ip 被封，设置了随机等待时间。其实，总体下来，不到 5 分钟，100 个视频可以全部下载完毕。

今日排行榜的 100 个小视频搞定了，每周、每月的就简单了，get_json() 方法中参数 params 有个标签字段 tag，每日的是「今日热门」，每周的改成「每周热门」，每月的改成「每月热门」就搞定了。

源码获取：

链接：https://pan.baidu.com/s/1IL5ZVu4vLIvpZ1aXpwZmbg 提取码：7962

Python爬虫之bili站的正确打开方式相关推荐

python论文参考文献名称_Word的正确打开方式（附毕业论文模板）
----点击蓝字关注我呀---- 三年前的我搞毕业设计,第一次接触这玩意儿,一脸懵逼好在我朱哥搞过大创(还是国家级的),当时给我各种科普单片机的知识搞大创的好处就是当我们不知道是画机械图还是 ...
这才是B站的正确打开方式！
关注+星标,每天学习C语言新技能因公众号更改推送规则,请点"在看"并加"星标"第一时间获取精彩技术分享来源:网络每天都在用B站刷杂七杂八的视频,有没有考虑 ...
python实现p图软件_这才是Python程序员P图的正确打开方式!
[IT168 评论]现代社会,不P图的人简直就像是恐龙一样稀奇,大到瘦脸瘦腿瘦全身,小到滤镜大眼高鼻梁,五花八门的手段令人应接不暇.那么程序员作为这个星球的特殊物种,P图才不会用毁图秀秀这种软件,下面 ...
log python_基于Python log 的正确打开方式
保存代码到文件:logger.py import os import logbook from logbook.more import ColorizedStderrHandler import sm ...
python四舍五入round_四舍五入就用round( )？Python四舍五入的正确打开方式！
四舍五入就用round( )?Python四舍五入的正确打开方式! 2018-09-22 21:40 阅读数 4 <>round( )函数简介菜鸟教程中介绍到,round() 函数作用就 ...
❤️大佬都在学什么？Python爬虫分析C站大佬收藏夹，跟着大佬一起学，你就是下一个大佬❤️!
❤️大佬都在学什么?Python爬虫分析C站大佬收藏夹,跟着大佬一起学,你就是下一个大佬❤️! 前言程序说明数据爬取获取 CSDN 作者总榜数据获取收藏夹列表获取收藏数据爬虫程序完整代码 ...
lambda学习视频和stream学习视频(Java8 Lambda表达式视频教程)-Java爬虫-网络购物的正确打开方式
百度网盘链接:https://pan.baidu.com/s/1upU5EVXOQeho6poDYdnhiQ 提取码:088l Java8 Lambda表达式视频教程 https://www.bil ...
【Python】NumPy 中 ravel() 正确打开方式
[Python]NumPy 中 ravel() 正确打开方式最近在看书时,对numpy的ravel()的有些疑惑,书上这样写到"如果结果中的值在原始数组中是连续的,则ravel 不会生成底 ...
Python Matplotlib绘图的正确打开方式
Python Matplotlib绘图的正确打开方式文章目录 Python Matplotlib绘图的正确打开方式 1.先搞懂fig.axes.axis `Figure` `Axes` `Axis` ...

Python爬虫之bili站的正确打开方式

Python爬虫之bili站的正确打开方式相关推荐

最新文章

热门文章