python爬虫 2021中国大学排名定向爬虫
最近的几篇博客来源是之前我下载的一个课件
在网上搜索了一下是一下这个课程的，可以结合视频博客以及代码去更好地学习
Python网络爬虫与信息提取_北京理工大学_中国大学MOOC(慕课) (icourse163.org)
但是课程内容的案列已经很久了，很多网址已更新或者网络框架已经更新
“中国大学排名定向爬虫”实例介绍
最好大学网：【软科排名】2021年最新软科中国大学排名|中国最好大学排名 (shanghairanking.cn)
功能描述
输入：大学排名URL链接
输出：大学排名信息的屏幕输出（排名，大学名称，总分）
技术路线：requestsbs4
定向爬虫：仅对输入URL进行爬取，不扩展爬取
程序的结构设计
步骤1：从网络上获取大学排名网页内容 getHTMLText()
步骤2：提取网页内容中信息到合适的数据结构 fillUnivList()
步骤3：利用数据结构展示并输出结果 printUnivList()
可参考下列步骤，可以成功爬取到你想要的数据
1、进入 网址 ，可参考的下面的步骤，找到这些信息存储的地方：
2、在浏览器输入网址 ：https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2020
参考博客python爬虫小案例_中国大学排名（2021.04.11）_不祈求 ~ ~-CSDN博客
看到数据是json格式
import requests
from bs4 import BeautifulSoup
import bs4
import json
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'}
url='https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021'
def getHTMLText(url):'''从网络上获取大学排名网页内容'''try:r = requests.get(url, headers=headers,timeout=40) # #如果状态不是200，就会引发HTTPError异常r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""
def fillUnivList(text, num):# response = requests.get(url, timeout=40)# text = response.textdata = json.loads(text)content = data['data']['rankings']ulist = []for i in range(num):index = content[i]['rankOverall']name = content[i]['univNameCn']score = content[i]['score']category = content[i]['univCategory']ulist.append([index, name, score, category])return ulist
def printUnivList(ulist):# 打印前 num 名的大学#tplt ="{0:^10}\t{1:^10}\t{2:^10}\t{3:^10}"tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}\t{4:^10}" # {1:{3}^10} 中的 {3} 代表取第三个参数print(tplt.format("排名 ", "学校名称", "总分", chr(12288), "类型")) # chr(12288) 代表中文空格for i in range(100):u = ulist[i]# chr(12288) 代表中文空格print(tplt.format(u[0], u[1], u[2], chr(12288), u[3]))
if __name__ == '__main__':text=getHTMLText(url)ulist=fillUnivList(text, 100)printUnivList(ulist)排名 学校名称 总分 类型 1 清华大学 969.2 综合 2 北京大学 855.3 综合 3 浙江大学 768.7 综合 4 上海交通大学 723.4 综合 5 南京大学 654.8 综合 6 复旦大学 649.7 综合 7 中国科学技术大学 577 理工 8 华中科技大学 574.3 综合 9 武汉大学 567.9 综合 10 西安交通大学 537.9 综合 11 哈尔滨工业大学 522.6 理工 12 中山大学 519.3 综合 13 北京师范大学 518.3 师范 14 四川大学 516.6 综合 15 北京航空航天大学 513.8 理工 16 同济大学 508.3 理工 17 东南大学 488.1 综合 18 中国人民大学 487.8 综合 19 北京理工大学 474 理工 20 南开大学 465.3 综合 21 山东大学 447 综合 22 天津大学 444.3 理工 23 中南大学 442.2 综合 24 吉林大学 435.7 综合 25 西北工业大学 430.5 理工 26 厦门大学 427.8 综合 27 华南理工大学 419.8 理工 28 大连理工大学 418.2 理工 29 华东师范大学 401.8 师范 30 中国农业大学 400.4 农业 31 电子科技大学 398.8 理工 32 湖南大学 393.5 综合 33 北京科技大学 379.4 理工 34 重庆大学 365.5 综合 35 南京航空航天大学 358.6 理工 36 东北大学 356.1 理工 37 南京理工大学 356 理工 38 西安电子科技大学 355.1 理工 39 兰州大学 353.4 综合 40 北京交通大学 349.9 理工 41 南方科技大学 345.8 综合 42 华中农业大学 338.5 农业 43 上海大学 333 综合 44 苏州大学 327 综合 45 华东理工大学 324.5 理工 46 华中师范大学 322 师范 47 南京师范大学 321.3 师范 48 中国地质大学（武汉） 320.2 理工 49 东北师范大学 319.7 师范 50 哈尔滨工程大学 319 理工 51 西南交通大学 318 理工 52 南京农业大学 316.1 农业 53 郑州大学 312.8 综合 54 北京邮电大学 312.5 理工 55 武汉理工大学 312.2 理工 56 中国海洋大学 311 综合 57 暨南大学 307.4 综合 58 中国石油大学（北京） 307.3 理工 59 北京工业大学 306 理工 60 河海大学 303.4 理工 61 中国矿业大学 301.6 理工 62 北京化工大学 296.7 理工 63 中国地质大学（北京） 295.5 理工 64 西北大学 293 综合 65 江南大学 292.9 综合 66 上海科技大学 288.7 综合 67 中国石油大学（华东） 287.4 理工 68 西南大学 286.5 综合 69 中国矿业大学（北京） 285.5 理工 70 深圳大学 280.4 综合 71 陕西师范大学 280.1 师范 72 江苏大学 276.9 综合 73 浙江工业大学 275.6 理工 74 北京林业大学 275 林业 75 华南师范大学 274.7 师范 76 西北农林科技大学 273.7 农业 77 扬州大学 269.5 综合 78 南昌大学 268.9 综合 79 福州大学 267.7 理工 80 华北电力大学 263.2 理工 81 东华大学 262.8 理工 82 合肥工业大学 262.7 理工 83 云南大学 262.1 综合 84 宁波大学 261.4 综合 85 首都师范大学 261.1 师范 86 湖南师范大学 259.6 师范 87 南京工业大学 259.5 理工 88 长安大学 250.2 理工 89 福建师范大学 248.2 师范 90 安徽大学 243.1 综合 91 南京信息工程大学 240.9 理工 92 上海理工大学 240.7 理工 93 华南农业大学 238.3 农业 94 广西大学 237 综合 95 南京邮电大学 235.7 理工 95 燕山大学 235.7 理工 97 河南大学 234.6 综合 98 湖北大学 232.9 综合 99 广州大学 232.7 综合 100 青岛大学 231.4 综合
python爬虫 2021中国大学排名定向爬虫相关推荐
- 嵩天《Python网络爬虫与信息提取》实例2：中国大学排名定向爬虫
在介绍完requests库和robots协议后,嵩天老师又重点介绍了如何通过BeautifulSoup库进行网页解析和信息提取.这一部分就是在前面内容的基础上,综合运用requests库和Beauti ...
- python中国大学排名爬虫写明详细步骤-python网络爬虫入门实例：中国大学排名定向爬虫...
中国大学排名定向爬虫的 设计和实现 一.环境安装: 1.选择一个适合自己的IDE(以下代码用Jupyter Notebook编写) 2.打开cmd,安装requests库和beautifulsoup4 ...
- 学习笔记：中国大学排名定向爬虫
1. 学习视频 中国大学排名定向爬虫: https://www.bilibili.com/video/BV1pt41137qK?p=33&spm_id_from=pageDriver 2. 程 ...
- 嵩天老师的中国大学排名定向爬虫实例-萌新教程
萌新实例,大佬们可以右上角了, 萌新可以看看互相学习 我是在是学习了<Python简明教程>还有廖雪峰老师的<Python3教程>后,才发现嵩天老师的视频的,简洁.生动.有趣, ...
- 中国大学排名定向爬虫以及淘宝商品爬虫参考嵩天老师Python爬虫课程遇到的问题及解决
首先附上课程中程序,无法正常运行 把2016年的url更改为今年的url:http://www.shanghairanking.cn/rankings/bcur/2020 代码如下: import r ...
- 中国大学排名的爬虫实战
中国大学排名的爬虫实战(结合信息组织与提取,两种方式实现) 功能描述 输入:大学排名url链接 输出:大学排名信息的屏幕输出(排名,大学名称,总分) 技术路线:requests-bs4 定向爬虫:仅对 ...
- python中国最好大学排名_国内大学排名如何？用Python爬取中国大学排名
国内大学排名如何?用Python爬取中国大学排名准备阶段需要的库robots协议上代码代码框架*获取url信息*解析信息*输出数据*主函数结果 准备阶段 新手入门,不喜勿喷,这篇文章的内容其实也是在中 ...
- 2021中国大学排名发布：北京大学连续14年位居榜首
来源:艾瑞深校友会网(cuaa.net) 2021年3月25日,全国第三方大学评价机构艾瑞深校友会网(cuaa.net)正式公布<2021校友会中国大学排名-高考志愿填报指南>,最新发布校 ...
- python中国大学排名爬虫写明详细步骤-Python爬虫 2020中国大学排名
爬取中国大学排名 request 获取 html beautiful soup 解析网页 re 正则表达式匹配内容 新建并保存 excel 1 2 3 4 -*- codeing = utf-8 -* ...
最新文章
- 概率密度函数pdf(probability densinity function) DOC API
- jQuery的extend详解
- uva 10161 Ant on a Chessboard 蛇形矩阵 简单数学题
- Hadoop专业解决方案-第1章 大数据和Hadoop生态圈
- 王道操作系统考研笔记——2.2.0 交互式系统调度算法
- java--tomcat
- arraylist 的扩容机制_ArrayList详解
- arm-linux gcc 指针 取值,GCC存储的字符串常量以及这些指针映射的位置在哪里？
- CenOS6 nginx+pxe+tftpd+samba/nfs+dhcpd 无盘安装windows linux
- 怎么SSH远程连接云服务器
- 【Electronics】数字电路实验——交通灯设计
- C#实现微信扫码支付
- 如何寻找适合的投稿SCI期刊
- 论文阅读《Knowledge Collaborative Fine-tuning for Low-resource Knowledge GraphCompletion》
- ArcGisPro脚本工具【8】——用地图斑导出用地用海汇总表
- 马斯克身价接近450亿美元，超过马云仍低于马化腾
- 腾讯云直播 tcplayer， 前端 vue 项目经验记录
- 情人节，送你一朵小红花~
- 输入多行英文字符，统计单词个数
- 上海Java开发工程师最新面试题（2020年）