Python练习：爬取B站排行榜数据

获取B站视频排行榜的一些数据，例如标题、UP主、分区、BV号、播放量、弹幕量、评论量、综合得分等

同时将视频封面保存到本地

import re
import requests
import os
from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)url="https://www.bilibili.com/v/popular/rank/all"
img_list=[] # 图片链接
name_list=[] # 标题
tname_list=[] # 分区
view_list=[] # 播放量
up_list=[] # UP名
pinglun_list=[] # 评论量
socre_list=[] # 综合得分
bv_list=[] # bv号def get_URL():headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36'}response = requests.get(url=url, headers=headers, verify=False)content = response.content.decode('utf-8')return contentdef get_IMG():content=get_URL()pattern = re.compile(r'"pic":"(.*?)","title"')imgdata_list = pattern.findall(content)for img in imgdata_list:img = img.encode('utf-8').decode('unicode_escape')img_list.append(img)print("封面链接: ")print(img_list)def get_otherinfo():content = get_URL()# 视频标题pattern_name = re.compile(r'class="title">(.*?)</a>')name_list = pattern_name.findall(content)print("视频标题: ")print(name_list)# UP主名称pattern_upname = re.compile(r'"name":"(.*?)"')up_list = pattern_upname.findall(content)print("UP主名称: ")print(up_list)# 视频类型/分区pattern_tname = re.compile(r'"tname":"(.*?)"')tname_list = pattern_tname.findall(content)print("视频分区:")print(tname_list)# 播放量pattern_view = re.compile(r'"view":(.*?)"')view_list = pattern_view.findall(content)print("播放量:")print(view_list)# 弹幕量pattern_danmu = re.compile(r'"danmaku":(.*?)"')danmu_list = pattern_danmu.findall(content)print("弹幕量:")print(danmu_list)# BV号pattern_bv = re.compile(r'com/video/(.*?)" target="')bv_list = pattern_bv.findall(content)print("BV号:")print(bv_list)# 综合得分pattern_bv = re.compile(r'<div>(.*?)</div>综合得分')bv_list = pattern_bv.findall(content)print("综合得分:")print(bv_list)# "reply":114550,"favorite":76574,"coin":320357,"share":64088,""like":362596,"dislike":0}# 回复，收藏，硬币，分享，点赞，踩
def download():root = "pic/"for i in range(len(img_list)):path = root+str(i)+"."+'png'# 判断文件夹是否存在if not os.path.exists(root):os.mkdir(root)if not os.path.exists(path):# 发送请求r = requests.get(img_list[i])with open(path, 'wb') as f:f.write(r.content)f.close()if __name__ == '__main__':get_IMG()download()get_otherinfo()

Python练习：爬取B站排行榜数据相关推荐

python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中
我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pan ...
python爬取知乎话题广场_学习python爬虫---爬虫实践：爬取B站排行榜2（爬取全部分类排行榜、利用pygal库作图）...
前面我们爬取了B站上全站的排行榜,详细见:魏勇:学习python爬虫---爬虫实践:爬取B站排行榜zhuanlan.zhihu.com 一.爬取全部分类排行榜我们观察一下B站排行榜,那里还有番剧排 ...
【Python爬虫】用Python爬取娱乐圈排行榜数据
想关注你的爱豆最近在娱乐圈发展的怎么样吗?本文和你一起爬取娱乐圈的排行榜数据,来看看你的爱豆现在排名变化情况,有几次登顶,几次进了前十名呀. PS:在下一篇文章中分析排行榜的动态变化趋势,并绘制成 ...
python爬取b站用户_python爬取b站排行榜
爬取b站排行榜并存到mysql中目的 b站是我平时看得最多的一个网站,最近接到了一个爬虫的课设.首先要选择一个网站,并对其进行爬取,最后将该网站的数据存储并使其可视化. 网站的结构目标网站:bil ...
从入门到入土：Python实现爬取某站视频|根据视频编号|支持通过视频名称和创作者名称寻找编号|以及python moviepy合并音频视频
写在前面: 此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) Python实现爬取某站视频|根据视频编号|支持通过视频名称 ...
基于Webmagic的爬取B站用户数据的爬虫
基于Webmagic的爬取B站用户数据的爬虫 github: https://github.com/Al-assad/Spider-bilibiliUser-active 数据示例样本:http:// ...
Python爬取B站排行榜前100视频信息！
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
Python番外篇：爬取CSDN作者排行榜数据
今天,又双叒叕是番外篇,我们来爬取CSDN作者排行榜上的数据. 1. 确定数据源首先,排行榜的网页链接是https://blog.csdn.net/rank/list/total: 打开" ...
Python爬取B站排行榜前100视频信息
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...

Python练习：爬取B站排行榜数据

Python练习：爬取B站排行榜数据相关推荐

最新文章

热门文章