Python爬虫以及数据可视化分析(最新B站番剧排行榜数据)

本博客将会对B站番剧排行榜的数据进行信息爬取以及数据可视化分析，适应最新的B站网页结构
参考大佬：https://blog.csdn.net/Jacompol/article/details/111692298

网页结构：

直接上代码，代码注释有步骤解释！

import requests
from bs4 import BeautifulSoup
import re
import pandas
import matplotlib.pyplot as plt
import matplotlib.font_manager
# 1、获取网页内容
def get_html(url):try:request = requests.get(url)             # 使用get来获取网页数据request.raise_for_status()              # 如果返回参数不为200，抛出异常request.encoding = request.apparent_encoding  # 获取网页编码方式return request.text                     # 返回获取的内容except:return '错误'#2、信息解析存储
def save(html):soup = BeautifulSoup(html,'html.parser')# 定义好相关列表准备存储相关信息name = []  # 动漫名字play= []  # 播放量favorite= []  # 收藏数#动漫名字存储for tag in soup.find_all('div', class_='info'):# print(tag)bf = tag.a.stringname.append(str(bf))print(name)#播放量存储for tag in soup.find_all('div', class_='detail-state'):# print(tag)bf = tag.find('span', class_='data-box').get_text()# 统一单位为‘万’if '亿' in bf:num = float(re.search(r'\d(.\d)?', bf).group()) * 10000# print(num)bf = numelse:bf = re.search(r'\d*(\.)?\d', bf).group()play.append(float(bf))print(play)#收藏数for tag in soup.find_all('div', class_='detail-state'):sc = tag.find('span', class_='data-box').next_sibling.next_sibling.get_text()sc = re.search(r'\d*(\.)?\d', sc).group()favorite.append(float(sc))print(favorite)# 存储至excel表格中info = {'动漫名': name, '播放量(万)': play, '收藏数(万)': favorite}dm_file = pandas.DataFrame(info)dm_file.to_excel('Data.xlsx', sheet_name="动漫数据分析")# 将所有列表返回return name, play, favorite
#3、数据可视化分析
def view(info):#取出列表数据dm_name = info[0]  # 番剧名dm_play = info[1]  # 番剧播放量dm_favorite = info[2]  # 番剧收藏数#使图上的数据可以显示中文plt.rcParams['font.sans-serif'] = ['SimHei']plt.rcParams['axes.unicode_minus'] = False#播放量柱形图，收藏数折线图fig, ax1 = plt.subplots()plt.bar(dm_name, dm_play, color='red')  #设置柱状图plt.title('番剧播放量与收藏数的数据分析')  # 表标题ax1.tick_params(labelsize=6)plt.xlabel('番剧名')  # 横轴名plt.ylabel('播放量')  # 纵轴名plt.xticks(rotation=90, color='#7b68ee')  # 设置横坐标变量名旋转度数和颜色#组合图必须加这个ax2 = ax1.twinx()ax2.plot(dm_favorite, color='yellow')  # 设置线粗细，节点样式plt.ylabel('收藏数（万）')plt.plot(1, label='收藏数', color="yellow", linewidth=1.0, linestyle="-")plt.plot(1, label='播放量', color="red", linewidth=5.0)  # 图例plt.legend()plt.show()def main():# 网址url = 'https://www.bilibili.com/v/popular/rank/bangumi'# 获取返回值html = get_html(url)print(html)info = save(html)view(info)
if __name__ == '__main__':main()

success！

Python爬虫以及数据可视化分析(最新B站番剧排行榜数据)相关推荐

Python爬虫以及数据可视化分析之某站热搜排行榜信息爬取分析
目录前言一,确定目标二,发送请求三, 解析数据四, 保存数据 pyecharts进行可视化 "某站"数据排名前10视频类型 "某站"标题标签可视化 & ...
数据可视化分析案例：探索BRFSS电话调查数据
原文链接:http://tecdat.cn/?p=9284 加载包 library(tidyr) library(knitr) opts_chunk$set(echo = TRUE, fig.alig ...
python爬虫，2020年《财富》中国500强排行榜数据爬取源码
一个简单的demo,python爬虫,其实是以前的存货,很久很久没有写爬虫了,渣渣更渣了啊! 爬取财富中文网,2020年<财富>中国500强排行榜相关数据,数据都在网页源码里,结构也比较清 ...
爬虫练习四：爬取b站番剧字幕
由于个人经常在空闲时间在b站看些小视频欢乐一下,这次就想到了爬取b站视频的弹幕. 这里就以番剧<我的妹妹不可能那么可爱>第一季为例,抓取这一番剧每一话对应的弹幕. 1. 分析页面这部番剧 ...
Python爬虫以及数据可视化分析！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析源码文件可以参考Github上传的项目:https://github.com/Lemon-Sheep/Py/tree/maste ...
python爬虫可视化excel_Python爬虫以及数据可视化分析！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析下面,我们开始吧! PS: 作为Python爬虫初学者,如有不正确的地方,望各路大神不吝赐教[抱拳] 本项目将会对B站番剧排行的 ...
Python爬虫以及数据可视化分析
Python爬虫以及数据可视化分析之Bilibili动漫排行榜信息爬取分析简书地址:https://www.jianshu.com/u/40ac87350697 简单几步,通过Python对B站番剧 ...
Python爬虫以及数据可视化分析！这才是零基础入门案例！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析下面,我们开始吧! PS: 作为Python爬虫初学者,如有不正确的地方,望各路大神不吝赐教[抱拳] 本项目将会对B站番剧排行的 ...
基于Python的南京二手房数据可视化分析
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...

Python爬虫以及数据可视化分析(最新B站番剧排行榜数据)

Python爬虫以及数据可视化分析(最新B站番剧排行榜数据)相关推荐

最新文章

热门文章