前言

不久后要做大学宣讲，顺便捡一下爬虫的语法，就写了这个爬虫的代码。记录一下免得以后又忘了。

一、用到的python库

requests（爬虫基本库）

re（正则表达式库，在本文中也可用内置的find方法代替）

pygal（交互式画图库）

以上库均可用"pip install name"（name即上述库的名称）安装

如果用的是anaconda环境管理，将pip改为conda

二、准备工作

1.找个有近几年QS排名的网站

我这里找的是QS在中国的官网：世界大学排名 | QSChina（但说实话数据有点少，只有4年的）

2.找到数据

通过检查找到网络后点击完整榜单，捕获数据。

找一下后发现数据在这个网址中，复制URL。（还有要加上自己浏览器的User-Agent进行伪装）

注意：这里请求的方法是GET但爬虫时用requests.get()方法会报错，应该用requests.post()。

3.分析json结构

打红框的就是我们要的目标数据，其中uni除了学校名是中文，其余均英文字符。

所以可以用re的语法提取出来：

reg=re.compile('[\u4E00-\u9FA5]+')

这个是匹配中文字符的表达式。

（但因为有的学校的名称是以英文或其他语言呈现的，所以最好爬取海外知名院校和中国院校）

三、编写代码

# This is a py file to crawl the ranks of your university in QS.
import requests
import re
import pygaldef getJson(url):r=requests.post(url,headers=headers).json()return rdef parse(dict):D={}reg=re.compile('[\u4E00-\u9FA5]+')# This line is to find the Chinese characters, so the university's name should be in Chinese, then you can get the QS rank of it. for d in dict['data']:try:name=re.search(reg,d['uni']).group()# If the uni name is in English, it will return None. Use the group() to None will get an error.if name in uName:D[name]=[int(d['overall_rank'])]if len(D)==len(uName):breakexcept:passreturn Ddef getuName():s=input("请将你想查的大学名称用中文输入（中间用‘，’隔开）：")#， is the comma in ChineseL=s.split('，')return Ldef darwLine():line=pygal.Line()for i in uName:line.add(i,dataDict[i])line.x_labels=yearline.y_title="QS排名"line.x_title="年份"line.title="近四年QS排名"line.legend_at_bottom=Trueline.render_to_file('learning scrapy\\crawl the ranks of QS\\查询结果.svg')# Before you run this file, you should change the above line to your path.def main():global uNameuName=getuName()for i in range(3,-1,-1):if i==3:global dataDictdataDict=parse(getJson(url[i]))else:D=parse(getJson(url[i]))for name in uName:dataDict[name].append(D[name][0])darwLine()if __name__ == '__main__':url=['https://www.qschina.cn/sites/default/files/qs-rankings-data/cn/2122636_indicators.txt','https://www.qschina.cn/sites/default/files/qs-rankings-data/cn/2057712_indicators.txt','https://www.qschina.cn/sites/default/files/qs-rankings-data/cn/914824_indicators.txt','https://www.qschina.cn/sites/default/files/qs-rankings-data/cn/397863_indicators.txt']headers={'user-agent': you need to add it}year=[2019,2020,2021,2022]main()

四、结果呈现

最后将svg文件在浏览器中打开。

中国顶尖学府：

还有在武汉备受争议的华科武大之争：

（QS排名不完全代表教学水平高低，仅作参考）

总结

本文介绍了排名类爬虫流程，并附上了查询近四年QS排名的代码，欢迎大家在评论区交流。

python爬虫+pygal交互式可视化爬取大学QS排名相关推荐

python爬虫（一）爬取豆瓣电影排名前50名电影的信息
python爬虫(一)爬取豆瓣电影排名前50名电影的信息在Python爬虫中,我们可以使用beautifulsoup对网页进行解析. 我们可以使用它来爬取豆瓣电影排名前50名的电影的详细信息,例如排 ...
python爬取图片教程-推荐|Python 爬虫系列教程一爬取批量百度图片
Python 爬虫系列教程一爬取批量百度图片https://blog.csdn.net/qq_40774175/article/details/81273198# -*- coding: utf-8 ...
python爬虫对炒股有没有用_使用python爬虫实现网络股票信息爬取的demo
实例如下所示: import requests from bs4 import BeautifulSoup import traceback import re def getHTMLText(url ...
python爬虫豆瓣影评的爬取cookies实现自动登录账号
python爬虫豆瓣影评的爬取cookies实现自动登录账号频繁的登录网页会让豆瓣锁定你的账号-- 网页请求使用cookies来实现的自动登录账号,这里的cookies因为涉及到账号我屏蔽了,具 ...
转 Python爬虫实战一之爬取糗事百科段子
静觅 » Python爬虫实战一之爬取糗事百科段子首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来. 友情提示糗事百科在前一段时间进行了改版,导致 ...
《python爬虫实战》：爬取贴吧上的帖子
<python爬虫实战>:爬取贴吧上的帖子经过前面两篇例子的练习,自己也对爬虫有了一定的经验. 由于目前还没有利用BeautifulSoup库,因此关于爬虫的难点还是正则表达式的书写. ...
Python 爬虫中国行政区划信息爬取（初学者）
Python 爬虫中国行政区划信息爬取 (初学者) 背景环境准备代码片段 1.定义地址信息对象 2.地址解析对象 2.1 获取web信息 2.2 web信息解析 2.3 区划信息提取 2.4 省 ...
python爬虫学习之定向爬取淘宝商品价格
python爬虫学习之定向爬取淘宝商品价格 import requests import redef getHTMLText(url):try:r = requests.get(url, tim ...
python爬虫股票市盈率_使用python爬虫实现网络股票信息爬取的demo
实例如下所示: import requests from bs4 import BeautifulSoup import traceback import re def getHTMLText(url ...

python爬虫+pygal交互式可视化爬取大学QS排名

目录

前言

一、用到的python库

二、准备工作

1.找个有近几年QS排名的网站

2.找到数据

3.分析json结构

三、编写代码

四、结果呈现

总结

python爬虫+pygal交互式可视化爬取大学QS排名相关推荐

最新文章

热门文章

python爬虫+pygal交互式可视化爬取大学QS排名

目录

前言

一、用到的python库

二、准备工作

1.找个有近几年QS排名的网站

2.找到数据

3.分析json结构

​​​​​​​

三、编写代码

四、结果呈现

总结

python爬虫+pygal交互式可视化爬取大学QS排名相关推荐

最新文章

热门文章