Python爬虫以及数据可视化分析之某站热搜排行榜信息爬取分析
目录
- 前言
- 一,确定目标
- 二,发送请求
- 三, 解析数据
- 四, 保存数据
- pyecharts进行可视化
- “某站”数据排名前10视频类型
- “某站”标题标签可视化
- “某站”喜欢视频分类概况
- 总结
前言
本项目将会对“某站”热搜排行的数据进行网页信息爬取以及数据可视化分析 本教程仅供学习参考!
首先,准备好相关库
requests、pandas、pyecharts等
因为这是第三方库,所以我们需要额外下载
下载有两种方法(以requests为例,其余库的安装方法类似):
pip install requests
点击回车后,就会自动帮我们进行安装,如果有的同学安装过程中是非常慢,半天看不到效果,建议大家可以使用镜像文件:在指令中添加-i 网址
pip install numpy -i https://mirrors.aliyun.com/pypi/simple/
常见镜像有:
镜像名称 网址
阿里云 https://mirrors.aliyun.com/pypi/simple/
豆瓣 https://pypi.douban.com/simple/
清华大学(推荐) https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学 http://pypi.hustunique.com/
山东理工大学 http://pypi.sdutlinux.org/
这些都是我们在准备工具,准备好工作后,我们就可以开始进行我们的爬虫工作啦.
一,确定目标
import requests
# 1确定目标
headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"}
url="https://api.某站(自己可以找到网址,平台不允许放).com/x/web-interface/popular?ps=20&pn=1"
二,发送请求
response=requests.get(url=url,headers=headers)
三, 解析数据
datas=response.json()['data']['list']
results=[]
for data in datas:result={'标题':data['title'],'视频分类':data['tname'],'aid':data['aid'],'bvid': data['bvid'],'视频描述': data['desc'],'视频封面': data['pic'],'up主': data['owner']['name'],'视频链接': data['short_link'],'投币数': data['stat']['coin'],'收藏数': data['stat']['favorite'],'弹幕数': data['stat']['danmaku'],'喜欢数': data['stat']['like'],'观看数': data['stat']['view'],'分享数': data['stat']['share'],}results.append(result)
四, 保存数据
import pandas as pddf=pd.DataFrame(results)df.to_excel("某站数据01.xlsx",index=False)
]
pyecharts进行可视化
爬虫到这里就结束了,接下来,我们就通过pyecharts进行可视化吧
先进行数据读取
import pandas as pd
data=pd.read_excel("./B站.xlsx")
print(data)
“某站”数据排名前10视频类型
from pyecharts.charts import Bar
from pyecharts import options as opts
bar = (Bar().add_xaxis(sp_data).add_yaxis('',sl_data).set_global_opts(title_opts=opts.TitleOpts(title="B站数据排名前10视频类型"),xaxis_opts=opts.AxisOpts(name_rotate=0,name="品牌名",axislabel_opts={"rotate":60})))
bar.render_notebook()
from pyecharts.charts import Bar
from pyecharts import options as opts
bar = (Bar().add_xaxis(sp_data).add_yaxis('',sl_data).reversal_axis().set_global_opts(title_opts=opts.TitleOpts(title="B站数据排名前10视频类型"),xaxis_opts=opts.AxisOpts(name_rotate=0,name="品牌名",axislabel_opts={"rotate":60})))
bar.render_notebook()
“某站”标题标签可视化
from pyecharts import options as opts
from pyecharts.charts import Page, WordCloud
from pyecharts.globals import SymbolType
def wordcloud_base() -> WordCloud:c = (WordCloud().add("", most_common_words, word_size_range=[20, 100]).set_global_opts(title_opts=opts.TitleOpts(title="B站标题标签可视化")))return cwd = wordcloud_base()
wd.render_notebook()
“某站”喜欢视频分类概况
from pyecharts.charts import Line
line = (Line().add_xaxis(rea).add_yaxis('',res).set_global_opts(title_opts=opts.TitleOpts(title="B站喜欢视频分类概况", subtitle="喜欢数"),xaxis_opts=opts.AxisOpts(name_rotate=0,name="分类",axislabel_opts={"rotate":60})))
line.render_notebook()
总结
这些就是我们通过python爬虫爬取下来的数据,进行可视化的一个分析,你可以通过图看出什么效果呢。除了这些可视图可以单个放,我们也可以把这些图进行合并,变成我们传说中的大屏.
代码如下:
page = Page(layout=Page.DraggablePageLayout)# 在页面中添加图表
page.add(bar2_world(),bar1_world(),line1_world(),wordcloud_base(),)
page.render('test1.html')
想要源码的同学,可以后台私信我一下哈
Python爬虫以及数据可视化分析之某站热搜排行榜信息爬取分析相关推荐
- mysql 查询 系统字段 自然日_吴裕雄--天生自然python数据清洗与数据可视化:MYSQL、MongoDB数据库连接与查询、爬取天猫连衣裙数据保存到MongoDB...
本博文使用的数据库是MySQL和MongoDB数据库.安装MySQL可以参照我的这篇博文:https://www.cnblogs.com/tszr/p/12112777.html 其中操作Mysql使 ...
- Python爬虫以及数据可视化分析
Python爬虫以及数据可视化分析之Bilibili动漫排行榜信息爬取分析 简书地址:https://www.jianshu.com/u/40ac87350697 简单几步,通过Python对B站番剧 ...
- Python爬虫+数据分析+数据可视化(分析《雪中悍刀行》弹幕)
Python爬虫+数据分析+数据可视化(分析<雪中悍刀行>弹幕) 哔哔一下 爬虫部分 代码部分 效果展示 数据可视化 代码展示 效果展示 视频讲解 福利环节 哔哔一下 雪中悍刀行兄弟们都看 ...
- python爬虫及数据可视化分析
python爬虫及数据可视化分析 1.前言 2.数据爬取 2.1定位到爬取数据 2.2爬虫实现方法 3.数据可视化分析 3.1将短文学网的各类文章做一个统计 3.2对某一类文章进行分析 1.前言 本篇 ...
- python 爬虫及数据可视化展示
python 爬虫及数据可视化展示 学了有关python爬虫及数据可视化的知识,想着做一些总结,加强自己的学习成果,也能给各位小伙伴一些小小的启发. 1.做任何事情都要明确自己的目的,想要做什么,打算 ...
- python 爬虫与数据可视化
python 爬虫与数据可视化 1.引言 Web已经成为日新月异迅速发展的网络信息技术中的信息载体,如何有效地提取和利用搜索引擎获得互联网最有用的.可以免费公开访问的数据集,查找用户所需的价值数据或者 ...
- 为什么要学习Python爬虫与数据可视化?
提到Python爬虫与数据可视化,我们都不陌生.因为我们早已身在大数据驱动的时代,数据分析已然成为了一项必备技能.可能有人会问,为什么要学习Python爬虫与数据可视化? 答案是显而易见的,无论是出于 ...
- 2021-09-01 学习笔记:Python爬虫、数据可视化
2021-09-01 学习笔记:Python爬虫.数据可视化 结于2021-09-07: 内容来自 成都工业大学 数字媒体专业实训: 主要内容: PyCharm开发Python脚本的基础配置: Pyt ...
- 【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据(免登陆)到生成词云
[Python爬虫实例学习篇]--5.[超详细记录]从爬取微博评论数据(免登陆)到生成词云 个人博客地址:ht/tps://www.asyu17.cn/ 精彩部分提醒: (1)微博评论页详情链接为一个 ...
最新文章
- python操作Mysql基础
- 前端学习(1857)vue之电商管理系统电商系统之登录过程和token
- 全国战争linux添加eth0,linux服务器双线路接入配置
- asp连接oracle6,asp下用OracleInProcServer完成对Oracle的连接和操作-ASP教程,数据库相关...
- 倒计时小工具_想要工作效率更高?这几款计时工具你一定不能错过!
- Python统计Excel文件中超市营业额明细数据
- java的引用类型_JAVA类型(引用类型变量和使用)
- 【金万维】天联高级版的管理员帐号和密码忘记
- SpreadJS 14.1 Crack by Xacker
- 【软件测试】使用C++ Test 进行静态测试
- 可以获得高排名的B2B平台大全
- WEB前端学习day-6-盒子,浮动,学成在线案例
- MT7620A路由刷DDWRT
- 阴阳师1月服务器维护,《阴阳师》手游1月24日维护更新公告:新区「暖风春穗」集结开启!...
- foxmail 总是提示QQ 邮箱需要输入密码
- Java hashCode详解
- 如何快速将显示未签收的单号物流归类为签收件
- Cocos2d-JS: 2.编译到安卓和iOS
- 来自中国各大高校著名导师的精品课程!绝对精典
- Git与GitHub说明分析