简单的方法爬取b站dnf视频封面步骤解释

这随笔代码链接：http://www.cnblogs.com/yinghualuowu/p/8186375.html

首先我们要知道，一个分区封面显示到底在哪里可以找到。

很明显，查看审查元素并不能找到封面。这个时候应该想到封面是动态加载的。

再次去Network寻找，我们发现这样一个JS。这是右侧热门视频封面的内容，点开之后存在pic:正是封面的链接。

进行json解析之后，判定pic在data>archives结构下。这个时候链接是有了，那么将如何把Json拿出来呢？

让我们观察一下原来的信息，除去JQuery........()这层，里面就是json字符串了，既然如此简单，那么我们就...

查找开头第一个(，然后截取至最后一个),里面不就是了吗？

def instr(keystr):st=keystr.find('(')+1strhtml=keystr[st:len(keystr)-1]return strhtml

def picsave(strJson,number):global cntstrdic=strJson['data']['archives']num=len(strdic)for i in range(0,num,1):cnt=cnt+1strdic=strJson['data']['archives'][i]print(strdic['pic'])urllib.request.urlretrieve(strdic['pic'],'E:\图片\dnf\%s.jpg'%(cnt))

然后进行翻页判断，我们尝试点开第一页和后面几页，看看不同。pn数字貌似变化很有规律啊。

于是...

def urlget(num):for i in range(1,num,1):url='https://api.bilibili.com/x/tag/ranking/archives?callback=jQuery172014070206081723846_1514982701564&tag_id=5033&rid=65&type=0&pn='+str(i)+'&ps=20&jsonp=jsonp&_=1514982702144'response=urllib.request.urlopen(url)html=response.read().decode('utf-8')html=instr(html)strJson=eval(html)picsave(strJson,i)

然后，就没有了。其实要高清大图的话，你需要点进去一个视频，然后审查元素，后面我会写一个输入av号来获取封面的代码

转载于:https://www.cnblogs.com/yinghualuowu/p/8481490.html

简单的方法爬取b站dnf视频封面步骤解释相关推荐

python最简单的方法爬取唱吧歌曲
第一个python爬虫–爬取唱吧歌曲介绍: 最近刚开始学python做网页爬虫,试着写了一个简单的爬虫项目,用最简单的requests和Beautifulsoup实现. 唱吧支持导出歌曲,但需要mo ...
json spr路驾驶技术视频api_每天弄个小爬取之Python爬取批量爬取B站小视频
1. 批量爬取B站小视频哔哩哔哩网站(英文名称: bilibili),是年轻人的文化社区,被粉丝们亲切的称为B站.该网站中拥有动画.番剧.国创.音乐.舞蹈.游戏.科技.生活.鬼畜.娱乐.时尚等多个内 ...
python爬取b站403_Python如何爬取b站热门视频并导入Excel
代码如下 #encoding:utf-8 import requests from lxml import etree import xlwt import os # 爬取b站热门视频信息 def s ...
Python每日一练(9)-批量爬取B站小视频
目录 1. 批量爬取B站小视频 2. 获取动态请求的JSON数据 3. 随机生成浏览器的头部信息 4. 获取要下载视频的大小 5. 实时打印文件下载进度 1. 批量爬取B站小视频哔哩哔哩网站(英文名 ...
python 爬取B站原视频的实站代码
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云,作者:python学习教程 ( 想要学习Python?Pyt ...
每天弄个小爬取之Python爬取批量爬取B站小视频！
1. 批量爬取B站小视频哔哩哔哩网站(英文名称: bilibili),是年轻人的文化社区,被粉丝们亲切的称为B站.该网站中拥有动画.番剧.国创.音乐.舞蹈.游戏.科技.生活.鬼畜.娱乐.时尚等多个内 ...
爬虫---爬取b站小视频
分析b站小视频 1.进入到抓取链接地址 2.分析抓取链接内容通过F12或者抓包工具进行查看我们需要爬取的视频在哪里存放,页面以ajax动态加载的 3.分析请求内容和请求参数通过查看请求内容得到这些 ...
我的第一个爬虫：request+pyquery爬取B站热门视频标题与播放量
爬虫步骤发起请求: 获取响应内容: 解析内容: 保存数据. 具体实现在写爬虫之前,我们先来看一下要爬取的网页. 上图是B站热门视频排行榜,需要的数据已经在图中标出,即视频名称和播放量. 接下来是具 ...
Python爬虫新手入门教学（二十）：爬取A站m3u8视频格式视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 前文内容 Python爬虫新手入门教学(一):爬取豆瓣电影排行信息 Python爬虫新手入门 ...

简单的方法爬取b站dnf视频封面步骤解释

简单的方法爬取b站dnf视频封面步骤解释相关推荐

最新文章

热门文章