爬虫爬取中国大学排名
爬取该网站的排名并输出
首先查看网页的源代码
找到大学排名所在的位置
然后写代码
import requests from bs4 import BeautifulSoup import bs4 def gethtmltext(url):try:r=requests.get(url,timeout=30) #返回url的内容限制时间30sr.raise_for_status() #检查返回状态r.encoding=r.apparent_encoding #转码return r.text #返回网页内容except:return "" def fillunivlist(ulist,html):soup=BeautifulSoup(html,"html.parser") for tr in soup.find('tbody').children: #查找tbody的子节点if isinstance(tr,bs4.element.Tag): #筛选是标签的内容tds=tr('td') #获得td的内容创建列表ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string]) #填充列表内容 def printunivlist(ulist,num):tplt="{0:^10}\t{1:{4}^10}\t{2:{4}^10}\t{3:^10}" #获取输出格式中文按第四个格式填充print(tplt.format("排名","学校名称","地区","总分",chr(12288))) #表头输出以中文字符填充空白for i in range(num):u=ulist[i]print(tplt.format(u[0],u[1],u[2],u[3],chr(12288))) #排名格式同上def main():uinfo=[]url="http://www.zuihaodaxue.com/Greater_China_Ranking2019_0.html" #主函数获取链接html=gethtmltext(url) #获得内容函数fillunivlist(uinfo,html) #内容处理函数printunivlist(uinfo,99) #输出函数 main()结果如下
排名 学校名称 地区 总分 1 清华大学（北京） 大陆 100 2 北京大学 大陆 80.5 3 香港中文大学 香港 71.0 4 浙江大学 大陆 66.1 5 香港大学 香港 62.0 6 中国科学技术大学 大陆 61.4 7 上海交通大学 大陆 58.9 8 复旦大学 大陆 56.8 9 清华大学（新竹） 台湾 56.5 10 台湾大学 台湾 54.8 11 北京师范大学 大陆 53.9 12 香港城市大学 香港 50.1 13 香港科技大学 香港 49.8 14 南京大学 大陆 46.9 15 华中科技大学 大陆 44.3 16 中山大学（广州） 大陆 43.9 17 香港理工大学 香港 43.5 18 交通大学（新竹） 台湾 42.5 19 哈尔滨工业大学 大陆 42.0 20 澳门科技大学 澳门 41.9 21 中国医药大学 台湾 40.0 22 天津大学 大陆 39.8 23 西安交通大学 大陆 39.2 24 阳明大学 台湾 38.8 25 同济大学 大陆 38.5 26 东南大学 大陆 37.8 26 武汉大学 大陆 37.8 28 中国农业大学 大陆 37.6 29 四川大学 大陆 37.5 30 中南大学 大陆 36.7 31 成功大学 台湾 36.2 32 南开大学 大陆 35.5 33 北京航空航天大学 大陆 35.1 34 华南理工大学 大陆 34.7 35 中央大学 台湾 33.9 35 厦门大学 大陆 33.9 37 北京理工大学 大陆 33.8 38 电子科技大学 大陆 33.5 39 澳门大学 澳门 33.4 40 吉林大学 大陆 33.1 41 中国人民大学 大陆 32.6 42 南京理工大学 大陆 32.0 43 香港浸会大学 香港 31.8 44 山东大学 大陆 31.4 45 中山大学（高雄） 台湾 31.3 45 西北工业大学 大陆 31.3 47 台湾科技大学 台湾 31.1 48 长庚大学 台湾 30.6 49 北京科技大学 大陆 30.5 50 华东师范大学 大陆 30.3 50 苏州大学 大陆 30.3 52 大连理工大学 大陆 30.0 53 南京农业大学 大陆 28.6 54 中国石油大学（北京） 大陆 27.9 55 华东理工大学 大陆 27.7 56 湖南大学 大陆 27.6 57 台北医学大学 台湾 27.2 58 高雄医学大学 台湾 27.1 59 南京航空航天大学 大陆 27.0 60 重庆大学 大陆 26.7 61 中国地质大学（北京） 大陆 26.6 62 兰州大学 大陆 26.3 62 台湾师范大学 台湾 26.3 64 中兴大学 台湾 26.0 64 台北科技大学 台湾 26.0 66 东北大学 大陆 25.9 67 中国海洋大学 大陆 25.6 68 中国矿业大学 大陆 25.3 69 北京交通大学 大陆 25.0 69 上海大学 大陆 25.0 71 北京工业大学 大陆 24.9 71 天津医科大学 大陆 24.9 73 哈尔滨工程大学 大陆 24.3 74 上海中医药大学 大陆 24.1 75 华中农业大学 大陆 23.8 76 中国药科大学 大陆 23.5 77 中国地质大学（武汉） 大陆 23.1 78 北京化工大学 大陆 23.0 79 西北农林科技大学 大陆 22.8 80 河海大学 大陆 22.7 81 江南大学 大陆 22.6 82 北京邮电大学 大陆 22.5 83 武汉理工大学 大陆 22.4 84 中正大学 台湾 22.3 85 暨南国际大学 台湾 22.1 85 西安电子科技大学 大陆 22.1 87 北京中医药大学 大陆 22.0 88 东北师范大学 大陆 21.9 88 西北大学 大陆 21.9 90 中国矿业大学（北京） 大陆 21.8 91 上海财经大学 大陆 21.7 92 首都师范大学 大陆 20.7 92 暨南大学 大陆 20.7 94 南京师范大学 大陆 20.5 95 高雄师范大学 台湾 20.4 95 云南大学 大陆 20.4 97 中原大学 台湾 20.3 97 台湾海洋大学 台湾 20.3 99 东华大学（上海） 大陆 20.2
爬虫爬取中国大学排名相关推荐
- 爬虫爬取中国大学排名top100并简单可视化分析
爬虫爬取中国大学排名top100并简单可视化分析. 目标链接 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html 实践环境 pycharm201 ...
- Python爬取中国大学排名，并且保存到excel中
前言 以下文章来源于数据分析和Python ,作者冈坂日川 今天发的是python爬虫爬取中国大学排名,并且保存到excel中,当然这个代码很简单,我用了半小时就写完了,我的整体框架非常清晰,可以直接 ...
- 第一个爬虫程序之定向爬取中国大学排名（收获良多，不仅仅是写个程序，更是编程的步骤方法）
第一个爬虫程序之定向爬取中国大学排名(收获良多,不仅仅是写个程序,更是编程的想法) 名称:定向爬取--中国大学排名定向爬取 首先,爬之前,看看你要定向爬取的网站和数据是什么类型的? 打开你要爬取网站, ...
- Python爬虫系列（二）：爬取中国大学排名丁香园-用户名和回复内容淘宝品比价
Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品比价 目录 Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品 ...
- python中国最好大学排名_国内大学排名如何？用Python爬取中国大学排名
国内大学排名如何?用Python爬取中国大学排名准备阶段需要的库robots协议上代码代码框架*获取url信息*解析信息*输出数据*主函数结果 准备阶段 新手入门,不喜勿喷,这篇文章的内容其实也是在中 ...
- 爬取中国大学排名并以csv格式存储
爬取中国大学排名并以csv格式存储 import requests from bs4 import BeautifulSoup import bs4def get_content(url):try:u ...
- 爬虫爬取最好大学排名
☞☞☞点击查看更多优秀Python博客☜☜☜ 爬虫爬取最好大学排名 **程序设计思路:** 代码细节分析 得到源代码函数分析 得到特定的tr标签函数分析 ==**文章导航:==** 最近跟着北京理工大 ...
- Python练习-爬虫（附加爬取中国大学排名）
Python与网页处理 Python 语言发展中有一个里程碑式的应用事件,即美国谷歌(GOOGLE)公司在搜索引擎后端采用Python 语言进行链接处理和开发,这是该语言发展成熟的重要标志.Pytho ...
- python爬取中国大学排名
教程来自:[Python网络爬虫与信息提取].MOOC. 北京理工大学 目标:爬取最好大学网前50名大学 代码如下: import requests from bs4 import Beautiful ...
最新文章
- 多平台Gstreamer Multiplatform
- DirectX 9的坐标系统变换
- 用ironpython驱动你的计算公式
- android studio资产目录,在Android Studio中设置单元测试的自定义资产目录
- python3 split（）函数
- 推荐15个在线多媒体（图片、音频、视频）编辑器
- Linux打开浏览器进程,Linux终端Web浏览器w3m
- JavaScript和ABAP的MD5计算源代码
- （4）Python3笔记 之 流程控制
- 【HTML】iframe嵌套界面自适应，可高度自由收缩
- web端消息推送的方式介绍
- ajax提交时“加载中”提示的处理方法
- 数据库查询的table结果转成对应实体类
- 2. mysql 基本命令
- 第08章节-Python3.5-Django工程创建 7
- Win7 X64 SQL SERVER 2000企业管理器无法建立新表
- [h5py] 解决ImportError: libhdf5.so.103: cannot open shared object file: No such file or directory
- eNSP配置无线网络
- 通过四个多月的时间，我成为了CSDN博客专家
- php打印10以内减法表,10以内加减法口诀表练习题口算题可打印(附下载)