Bilibili漫画爬取思路

前提：只对于非付费章节有效。

思路仅供参考，如有错误欢迎评论区提出。

转载请贴出本文链接即可。

截止版本时间：2021/1/26

以海贼王漫画为例子。

我们选择第一章 “001 ROMANCE DAMN…”

可以看到如下漫画内容

打开调试器，F12

可以看到形如***.jpg@1100w...token=***&ts=***的URL，并且该URL返回为图片形式，也就是我们想要的。继续查看其请求类型和参数。

可以看到请求类型为GET, 请求参数为 token 和 ts.

接下来我们需要思考的就是如何获取该URL和获取对应的参数。

继续查看抓取到的包，找到了形如 ImageToken?device=pc&platform=web的包：

这个包的返回值就是我们想要的，里面含有 url , token, ts。其中 ts是在"token"里面的。需要注意的是，该请求类型为POST，而请求形式为Request Payload并非 Form Data，经查找资料，Request Payload要求请求字段中Content Type为application/json;charset=UTF-8。之后我用Postman测试结果：

接下来继续思考如何获得请求值`urls`

继续查看抓的包也不难发现，形如GetImageIndex?device=pc&platform=web返回的值中有我们想要的：

可以发现就是我们需要的urls，并且通过观察，可以发现该数组要倒着看才是正确的图片的顺序。但是又产生了一个新的问题，获取ep_id。因为这里获取一个ep_id就可以获取本章节的所有图片，所以我猜测ep_id应该是每一章的标识。

获取请求值`ep_id`

继续观察，我们发现该图片的URL有ep_id的值:

其中manage.bilibili.com/mc24742/218087?from=manage_detail中的218087就是我们想要的。那么这就是一种暗示，跳转该页的父页肯定有该URL，那么有该URL不就有ep_id值了嘛？

父页：

但是当我打开调试器时，发现并没有显式的URL：

所以还是得从包看，我们继续看父页的包。经过一段时间的查找，发现ComicDetail?device=pc&platform=web有想要的东西。

ep_list中的每一项中的id就是对应每一章的标识，同时该数组也是反着来的，0对应的是最后一章，最后一项对应的是第一章：

同时也产生了一个新的参数comic_id，这个参数就比较简单了，就是指每一步动漫的唯一标识:
其中的mc24742中的24742就是comic_id。

Bilibili漫画抓取思路相关推荐

某商标局公告抓取思路总结爬虫过无限debugger Js逆向调试
某商标局公告抓取思路总结爬虫过无限debugger @[TOC](某商标局公告抓取思路总结爬虫过无限debugger) 目标地址:aHR0cDovL3dzZ2cuc2JqLmNuaXBhLmdvdi5 ...
python3抓取图片_通过Python3 爬虫抓取漫画图片
引言: 最近闲来无事所以想着学习下python3,看了好长时间的文档,于是用python3写了一个漫画抓取的程序,好了废话不多说上码! 第一步: 准备环境和类库,我用的是python3.5 ...
通过Python3 爬虫抓取漫画图片
通过Python3 爬虫抓取漫画图片引言: 最近闲来无事所以想着学习下python3,看了好长时间的文档,于是用python3写了一个漫画抓取的程序,好了废话不多说上码! 第一步: 准备环境和类 ...
Bilibili直播弹幕抓取(3):弹幕传输协议分析
转载自 https://ihomura.cn/2018/05/17/Bilibili%E7%9B%B4%E6%92%AD%E5%BC%B9%E5%B9%95%E6%8A%93%E5%8F%96-3-% ...
安居客检测到网页抓取_安居客天津租房情况分析
本篇文章通过对安居客官网天津市租房信息的进行抓取,然后对房价信息进行了简单的描述性统计分析. 工具和技术:VBA知识.Power Bi 一.采集数据过程抓取思路: 安居客租房信息网址为简单的静态网页, ...
爬虫app信息抓取之apk反编译抓取
之前也抓过一些app,数据都比较好取,也没有研究的太深,毕竟还有android 模拟器+ appium 的方法.直到遇见了一款app ,具体名字就不说了,它安装在模拟器上竟然打不开 !!第一次遇见上网 ...
记一次批量定时抓取微信公众号文章的实现
记一次批量定时抓取微信公众号文章的实现抓取前的说明和准备数据的抓取批量抓取定时抓取对爬虫防抓取机制的一些解决办法最后抓取前的说明和准备本次抓取的选择的语言是java,本文章不会将整个工 ...
微博--图片，视频，评论抓取
抓取思路: .手动搜索要抓取的人的主页,进去,浏览器调试找到数据接口通过curl工具,自动成成请求代码编辑器请求代码,获取json 解析json,得到发微博人的id,本条微博的id等基础信息,将本 ...
python抓取小红书_小红书很难爬？最新爬取方法教给你啦~
前言大家好,我是Kuls. 之前写的那篇App抓包软件charles的配置说过,超过30在看,马上更下一篇.有读者问我怎么爬App,我手把手教了他(多图警告) 所以加班加点给大家写了今天这篇文章. ...

Bilibili漫画抓取思路

Bilibili漫画爬取思路

接下来我们需要思考的就是如何获取该URL和获取对应的参数。

接下来继续思考如何获得请求值`urls`

获取请求值`ep_id`

Bilibili漫画抓取思路相关推荐

最新文章

热门文章

Bilibili漫画抓取思路

Bilibili漫画爬取思路

接下来我们需要思考的就是如何获取该URL和获取对应的参数。

接下来继续思考如何获得请求值urls

获取请求值ep_id

Bilibili漫画抓取思路相关推荐

最新文章

热门文章

接下来继续思考如何获得请求值`urls`

获取请求值`ep_id`