基于大数据的动漫影视可视化分析系统
温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :)
1. 项目简介
本动漫分析系统开发语言为Python,并进行数据清洗,数据处理,并最后利用可视化技术进行动漫数据分析。本动漫分析系统的网站搭建采用B/S (Browser/Server)平台技术,使用HTML等实现网页展示,将数据格式化,并存储到json文件中,利用flask搭建后台系统,前端采用 bootstrap 和Echarts实现动漫数据的可视化展示和交互,并从多种因素分析影响动漫的评分情况。
【系统演示】基于大数据的动漫分析系统
2. 功能组成
本系统通过对动漫数据的清洗、分析等,实现动漫的可视化分析,主要功能包括以下方面:
- 从某动漫网站抓取所有动漫动画数据,并进行数据清洗,去除无效字符和错误字符,将清洗和结构化后的数据转成 json 格式数据;
- 实现从动漫的话数、放送时间、导演、脚本、评分、评分人数等维度进行进行多种形式的可视化分析,包括柱状图、折线图、散点图、扇形图等;
- 分析话数、放送时间、导演、脚本、评分人数等因素影响评分的情况。
3. 动漫数据爬虫
针对某动漫影视网站,利用 request + beautifulsoup 编写原生网络爬虫,完成数据的采集和清洗,并存储到数据库或文件系统中:
total_page = 200
base_url = 'https://xxxxxxx.tv/anime/browser?sort=rank&page={}'for page in range(1, total_page):print('抓取第 {} 页的数据'.format(page))url = base_url.format(page)headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','Content-Type': 'application/x-www-form-urlencoded','Accept-Encoding': 'gzip, deflate, compress','Accept-Language': 'en-us;q=0.5,en;q=0.3','User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36','Referer': url}response = requests.get(url, headers=headers)response.encoding = 'utf8'soup = BeautifulSoup(response.text, 'lxml')item_ul = soup.find(name='ul', attrs={'id': 'browserItemList'})items = item_ul.find_all(name='li')for item in items:try:......# 话数,上映时间,导演等info = item.find('p', attrs={'class': 'info tip'}).textinfo = info.strip().replace(' ', '').split('/')# 话数hua_count = info[0][:-1]date = info[1]peoples = info[2:] if len(info) > 2 else []......anime_info = {'封面': img,'名称': name,'类型': leixing,'排名': int(rank),'话数': int(hua_count),'放送时间': date,'导演': daoyan,'声优': cv_shengyou,'脚本': jiaoben,'评分': float(score),'评分人数': int(score_count)}
4. 基于大数据的动漫影视可视化分析系统
4.1 不同类型动漫的数量分布情况
4.2 不同类型动漫的评分分布及与评论人数的相关性分析
4.3 不同动漫导演制作的动漫类型、评分与话数等分布情况
4.4 不同声优参与的动漫类型、评分与话数等分布情况
4.5 不同脚本参与的动漫、评分与话数等分布情况
4.6 动漫名称关键词词云分析
5. 总结
本动漫分析系统的网站搭建采用B/S (Browser/Server)平台技术,使用HTML等实现网页展示,将数据格式化,并存储到json文件中,利用flask搭建后台系统,前端采用 bootstrap 和Echarts实现动漫数据的可视化展示和交互,并从多种因素分析影响动漫的评分情况。
欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。
技术交流认准下方 CSDN 官方提供的学长 Wechat / QQ 名片 :)
精彩专栏推荐订阅:
1. Python 毕设精品实战案例
2. 自然语言处理 NLP 精品实战案例
3. 计算机视觉 CV 精品实战案例
基于大数据的动漫影视可视化分析系统相关推荐
- 基于大数据spark+hadoop的图书可视化分析系统
- Py之pyecharts:基于大数据对人工智能进行各种可视化图表分析
pyecharts:基于大数据对人工智能进行各种可视化图表分析 目录 1. Bar(柱状图/条形图) 2 EffectScatter(带有涟漪特效动画的散点图) 3 .Funnel(漏斗图) 4.Ga ...
- 基于大数据的城市轨道交通客流分析及调控策略【附PPT】
来源:2020世界交通运输大会(WTC) 北京交通大学 交通运输学院 姚恩建教授的分享,支持原创,版权归作者所有,如有侵权,联系立删.禁止二次转载.欢迎转发支持.公众号内回复[轨道交通],获取PPT下 ...
- lyuyou消费大数据_基于大数据技术的电力用户行为分析及应用现状
&Automation 基于大数据技术的电力用户行为分析及应用现状 沈玉玲,吕燕,陈瑞峰 ( 上海电气集团股份有限公司中央研究院, 上海 200070 ) 摘 要: 电力行业是大数据技术应用的 ...
- 基于大数据的银行反欺诈的分析报告
from--http://www.cnblogs.com/yueyebigdata/p/5893454.html 基于大数据的银行反欺诈的分析报告 (备注,本人主要是整理,学习他人的博客.由于大量的资 ...
- 【计算机专业毕设之基于python爬虫的汽车销量预测可视化分析系统-哔哩哔哩】 https://b23.tv/2gOjMVB
[计算机专业毕设之基于python爬虫的汽车销量预测可视化分析系统-哔哩哔哩] https://b23.tv/2gOjMVB https://b23.tv/2gOjMVB
- 基于大数据的银行反欺诈的分析报告 【转载,可用于风控系统架设借鉴】
转载至 https://www.cnblogs.com/yueyebigdata/p/5893454.html Growth跃爷Hacker (怕收藏至浏览器文件夹有天会有遗漏,转至自己博客中,推荐 ...
- 毕业设计 基于大数据的旅游数据分析与可视化系统
文章目录 0 前言 1 课题背景 2 数据处理 3 Django使用echarts进行可视化展示(mysql数据库) 3.1 修改setting.py连接mysql数据库 3.2 导入数据 3.3 使 ...
- 【金猿案例展】中国中车——基于大数据的车辆运维预警监控系统项目
天津卓朗案例 本案例由天津卓朗投递并参与"数据猿年度金猿策划活动--2020大数据产业创新服务企业榜单及奖项"评选. 大数据产业创新服务媒体 --聚焦数据 · 改变商业 中车唐山机 ...
最新文章
- GAAFET与FinFET架构
- 生信宝典文章集锦,你想看的都在
- processing python模式_python学习Processing
- Securing the Deep Learning Stack
- DAY3-Flask项目
- Nginx RTMP 功能研究
- 更改linux子系统软件源为国内镜像
- 中国最好学科排名发布:北大14个学科全国第一,北京高校上榜数居首
- 雨林木风win11 64位原版系统v2021.08
- 高中教师计算机技能大赛,计算机科学与技术学院第九届教师技能大赛初赛圆满举行...
- python中beautifulsoup是什么_Python中的BeautifulSoup – 获取类型的第n个标记
- coursera机器学习-聚类,降维,主成分分析
- Django之jsonp跨域请求原理
- 火狐Android 附加组件,Firefox Nightly 隐藏新功能,让 Android 机用上任意桌面端附加组件...
- c语言编译kbhit出现问题,kbhit用C语言
- 1.11.ARM的37个寄存器详解
- 展开阅读全文代码html,展开阅读全文 js 爬虫操作
- SQL之case when then用法(用于分类统计)
- v-distpicker 插件只要省市
- 语音应用开发中的 11 个常见错误