python实例，python网络爬虫爬取大学排名!

源代码：

import requests
from bs4 import BeautifulSoup
import bs4def getHTMLText(url):try:r = requests.get(url,timeout = 30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""def fillUnivList(ulist,html):soup = BeautifulSoup(html,"html.parser")for tr in soup.find('tbody').children:if isinstance(tr, bs4.element.Tag):tds  =  tr('td')ulist.append([tds[0].string,tds[1].string,tds[2].string])def printUnivList(ulist, num):print("{:^10}\t{:^6}\t{:^10}".format("排名", "学校名称", "总分"))for i in range(num):u=ulist[i]print("{:^10}\t{:^6}\t{:^10}".format(u[0], u[1], u[2]))#print("Suc"+str(num))
def main():uinfo = []url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'html = getHTMLText(url)fillUnivList(uinfo, html)printUnivList(uinfo, 20)
main()

运行结果：

总分那一项，没输出正确。
修改这里就可以了吧。因为对应的标签的序号是第四个。

程序的结构设计
步骤1：从网络上获取大学排名网页内容
getHTMLText()
步骤2：提取网页内容中信息到合适的数据结构
fillUnivList()printUnivList()

步骤3：利用数据结构展示并输出结果
printUnivList()

课程地址：https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/learn/content?type=detail&id=1004574446&cid=1005754042

python实例，python网络爬虫爬取大学排名!相关推荐

用Python写一个网络爬虫爬取网页中的图片
写一个爬虫爬取百度贴吧中一个帖子图片网址:壁纸用谷歌浏览器的开发工具检查网页,可以发现其每一张图片都有如下格式 <img class="BDE_Image" src=&q ...
Python实例：网络爬虫抓取豆瓣3万本书（1）
花了些时间看了Python一整本书,写了些小例子,因为是有经验的人自学,所以很多都是跳过的. 不过学习还是得在实践中去,学一门语言还得运用中去. 去下一些例子下来,去运行,调试时最好的了. <网 ...
python爬虫爬取大学排名并存入数据库进行数据可视化
这是本人的期末大作业,题目要求如下: 对中国大学专业排名网站中2021年,计算机科学与技术专业,进行数据爬取和数据可视化. URL地址:https://www.shanghairanking.cn/r ...
Python实例：网络爬虫抓取豆瓣3万本书（9）
代码在这里:点击打开链接这个实例是作者的一次课程设计.虽然内容不咋的,但是作为课程设计,我还是很惊讶的了. 至少我以前没做过这种程度的课程设计.当然实习和毕业设计除外. 再总结一下吧. 1.知识点在 ...
Python实例：网络爬虫抓取豆瓣3万本书（5）
第五步没有什么心的知识点. 直接看代码吧. # -*- coding:utf-8 -*- # 提取各标签列表页到excel import time import os.path from tool.E ...
python网络爬虫_Python网络爬虫——爬取视频网站源视频！
原标题:Python网络爬虫--爬取视频网站源视频! 学习前提 1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 ...
如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
python朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...

python实例，python网络爬虫爬取大学排名!

python实例，python网络爬虫爬取大学排名!相关推荐

最新文章

热门文章