python采集最新世界大学排名, 来看看你的母校上榜没~
前言
大家早好、午好、晚好吖 ❤ ~
本次内容:
Python 采集世界大学排行榜 并做数据可视化
知识点:
动态数据抓包
requests发送请求
结构化+非结构化数据解析
开发环境:
python 3.8 运行代码
pycharm 2021.2 辅助敲代码
requests 第三方模块 pip install 模块名
本次文章案例教程、源码料找小钰老师微信: python5180
+ python安装包 安装教程视频
+ pycharm 社区版 专业版 及 免费
代码展示
数据采集
代码里网址被我删了好过审核， ( 源码、教程、文档、软件点击此处跳转跳转文末名片+找管理员领取呀~ )
import requests # 发送请求 第三方模块
import re
import csv
def replace(str):str = re.sub('<.*?>', '', str)return str
乱码和代码没关系, 软件有关系
每一个软件打开文件的编码方式不一样
f = open('排名.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(f)
请求链接
url = 'https://www.***.cn/sites/default/files/qs-rankings-data/cn/2057712.txt?_=1669724480772'
发送请求
response = requests.get(url)
获取数据
.text: 获取文本数据的
.json(): 获取 {}/[] 所包裹的数据 字符串类型 ==> 字典/列表 Python基础里面的数据容器
.content: 获取 音频/视频/图片 数据的
json_data = response.json()
解析数据 提取数据
data_list = json_data['data']
for data in data_list:country = data['country']title = replace(data['title'])ind_0 = replace(data['ind_0'])ind_1 = replace(data['ind_1'])ind_2 = replace(data['ind_2'])rank_0 = data['rank_0']rank_d_0 = replace(data['rank_d_0'])rank_d_1 = replace(data['rank_d_1'])score = data['score']region = data['region']print(country, title, ind_0, ind_1, ind_2, rank_0, rank_d_0, rank_d_1, score, region)
保存数据
csv_writer.writerow([country, title, ind_0, ind_1, ind_2, rank_0, rank_d_0, rank_d_1, score, region])
详情 / 相对应的安装包/安装教程/激活码/使用教程/学习资料/工具插件 可以点击免费领取
数据可视化
from pyecharts.charts import *
from pyecharts import options as opts
from pyecharts.commons.utils import JsCode
from pyecharts.components import Table
import re
import pandas as pd
df = pd.read_csv('rank.csv')
香港，澳门与中国大陆地区等在榜单中是分开的记录的，这边都归为china
df['loc'] = df['country']
df['country'].replace(['China (Mainland)', 'Hong Kong SAR', 'Taiwan', 'Macau SAR'],'China',inplace=True)
tool_js = """
<div style="border-bottom: 1px solid rgba(255,255,255,.3); font-size: 18px;padding-bottom: 7px;margin-bottom: 7px">{} </div>排名：{} <br>国家地区：{} <br>加权总分：{} <br>国际学生：{} <br>国际教师：{} <br>师生比例：{} <br>学术声誉：{} <br>雇主声誉：{} <br>教员引用率：{} <br>
"""t_data = df[(df.year==2021) & (df['rank']<=100)]
t_data = t_data.sort_values(by="total_score" , ascending=True) university, score = [], []
for idx, row in t_data.iterrows():tjs = tool_js.format(row['university'], row['rank'], row['country'],row['total_score'], row['score_6'],row['score_5'], row['score_3'],row['score_1'],row['score_2'], row['score_4'])if row['country'] == 'China':university.append('
python采集最新世界大学排名, 来看看你的母校上榜没~相关推荐
- 3月最新！ESI世界大学排名：371所内地高校上榜！
来源:最佳大学 编辑:双一流高校 3月10日,科睿唯安公布了ESI从2011年1月1日到2021年12月31日的统计数据.ESI每2个月公布一次,均为上一次数据的基础上增加2个月的数据,但是 ...
- ESI世界大学排名：371所内地高校上榜！
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 3月10日,科睿唯安公布了ESI从2011年1月1日到2021年1 ...
- 【Python可视化】2021年最新世界大学排名，来看看你的母校上榜没～
前言 世界上较为主流的大学排名有美国U.S. News世界大学排名.英国QS世界大学排名.英国泰晤士高等教育世界大学排名,以及学术类排名如世界大学自然指数排名.中国软科世界大学学术排名等.影响力较大的 ...
- 权威最新世界大学排名
发信人: news (倒影中的月亮在和路灯谈判), 信区: TJExpress 标 题: 权威最新世界大学排名 -交大337-复旦349 发信站: 同舟共济站 (Mon Aug 15 20:57:53 ...
- 乌特勒支大学计算机科学世界排名,2021年乌特勒支大学最新世界大学排名--UU人的骄傲！...
2021年最新世界大学排名乌特勒支大学 截止到目前,2021年世界最佳大学排行榜基本都新鲜出炉啦! 乌特勒支大学在新的一年排行榜上也继续保持着不错的成就! 能够在各个世界最佳大学排行榜上保持不错的排名 ...
- 2022泰晤士最新世界大学排名惹争议，这所985高校爆冷门！
本文来源:金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 就在前几天,2022泰晤士世界大学排名新鲜出炉. 在今年这场全球高校的"排位赛"中,又有哪些高校的成绩让人眼 ...
- QS最新世界大学排名发布，清华北大获史上最高名次
北京时间6月19日,最新的2020QS世界大学排名发布,麻省理工学院第8年蝉联第一,斯坦福大学.哈佛大学随后.中国大陆高校今年表现不俗,清华大学.北京大学两所顶尖大学在此次排名中取得了史上最高名次,分 ...
- 吉林大学不如温州大学，泰晤士最新世界大学排名引发争议
对于今年出炉的"排位赛"结果,你怎么看? >>>> 就在刚刚,2022泰晤士世界大学排名新鲜出炉. 在今年这场全球高校的"排位赛"中,又 ...
- 最新世界大学排名：计算机专业哪家强？
公众号关注 "GitHubDaily" 设为 "星标",带你了解圈内新鲜事! 转自学术头条 对于想要申请计算机科学专业学位的学生们来说,有几个全球大学排名是非常 ...
最新文章
- 在CentOS 6.3 64bit上为Apache Traffic Server 4.2.3挂载SSD并压测
- CPU深夜狂飙，一帮大佬都傻眼了...
- 一个客户端对应一个线程
- 使用 apiDoc 为你的Node.js API 生成文档
- Elasticsearch使用REST API实现全文检索
- netty源码阅读之UnpooledByteBufAllocator
- Android 功耗（12）---如何查找待机唤醒源
- SAP License：SAP集成(后面为粘贴)
- mysql 5.7和8.0区别_SpringBoot 2.0 教程实战 MySQL 读写分离
- JAXB注解 java 关于xml的注解，自动生成xml文件 - @XML***
- 谈论高并发（三）锁的一些基本概念
- Python编辑器--Ulipad
- JAVA调用海康威视SDK
- vc6.0垃圾文件清理工具_小白也能轻松上手，借用联想小工具轻松解决常见win10问题...
- 地理信息系统概论 黄杏元版 期末复习资料
- vue项目引入阿里云图标的4种方式
- 常见浏览器兼容性问题
- 计算机软件 硬件的组成部分,计算机软硬件组成.ppt
- springmvc接收请求参数（springmvc教程二）
- poi导出excel不可读
热门文章