爬虫2_2019年549所中国大学排名

"""
# - 实战
# - 教程:https://www.bilibili.com/video/av9784617?p=32
"""
import requests
from bs4 import BeautifulSoup
import bs4def request_url(url, *params):""":param url::param params: 一般为输入内容，例如百度搜索:params = {'wd': "搜索内容"}:return: 查看源"""try:headers = {'user-agent': 'my-app/0.0.1'}  # 伪装成浏览器，避免403，被禁止访问response = requests.get(url, headers=headers, params=params)print(response.request.url)print('访问状态:', response.status_code)print('编码方式:', response.encoding)response.encoding = response.apparent_encodingif response.status_code == 200:return responseexcept requests.RequestException:return "返回异常"def fillUnivList(ulist, html):""":param ulist: 每个大学的数据:param html: response.text:return: 排名list"""soup = BeautifulSoup(html, 'html.parser')for tr in soup.find('tbody').children:# tbody = soup.find('tbody')# for tr in tbody.find_all('tr'):if isinstance(tr, bs4.element.Tag):  # 如果为Tag类型td_list = tr.find_all('td')# 排名/学校/评分ulist.append([td_list[0].string, td_list[1].string, td_list[2].string, td_list[3].string])return ulistdef PrintUnivList(list2):""":param list2: 排名数据列表:return: 打印结果"""tplt = '{0:^5}\t{1:{4}^10}\t{2:{5}^6}\t{3:^6}'print(tplt.format('排名', '大学', '位置', '评分', chr(12288), chr(12288)))for per_univ in list2:print(tplt.format(per_univ[0], per_univ[1], per_univ[2], per_univ[3], chr(12288), chr(12288)))if __name__ == "__main__":# - 中国大学排名list1 = []url1 = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'response = request_url(url=url1)# print(response.text)ulist = fillUnivList(ulist=list1, html=response.text)# print(ulist)PrintUnivList(list2=ulist)

爬虫2_2019年549所中国大学排名相关推荐

python中国大学排名爬虫写明详细步骤-python中国大学排名爬虫
python 中国大学排名爬虫首先,给一个最好大学网URL:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html, 点击这里进入 . 功能描述 ...
Python练习-爬虫（附加爬取中国大学排名）
Python与网页处理 Python 语言发展中有一个里程碑式的应用事件,即美国谷歌(GOOGLE)公司在搜索引擎后端采用Python 语言进行链接处理和开发,这是该语言发展成熟的重要标志.Pytho ...
python中国大学排名爬虫写明详细步骤-python爬虫爬取2020年中国大学排名
from bs4 import BeautifulSoup # 网页解析获取数据 import re # 正则表达式进行文字匹配 import urllib.request, urllib.err ...
python中国大学排名爬虫写明详细步骤-python网络爬虫入门实例：中国大学排名定向爬虫...
中国大学排名定向爬虫的设计和实现一.环境安装: 1.选择一个适合自己的IDE(以下代码用Jupyter Notebook编写) 2.打开cmd,安装requests库和beautifulsoup4 ...
网络爬虫——中国大学排名数据抓取
网络爬虫--中国大学排名数据抓取目标网址中国大学排名网:http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html 全球有很多份大学排名,这里以上 ...
python排名差怎么改,2017中国大学排名爬虫代码修改
本文是学习http://www.icourse163.org/lea... 课程的代码实现和反思. 课程的第6单元中嵩天老师给出的"中国大学排名爬虫"优化代码如果把url中的201 ...
Python爬虫入门之2022软科中国大学排名爬取保存到csv文件
一.实验方案设计 1.获得"2022软科中国大学排名"数据,从[软科排名]2022年最新软科中国大学排名|中国最好大学排名网页中获得排名数据信息,并将数据保存到csv文件中. 2. ...
中国大学排名的爬虫实战
中国大学排名的爬虫实战(结合信息组织与提取,两种方式实现) 功能描述输入:大学排名url链接输出:大学排名信息的屏幕输出(排名,大学名称,总分) 技术路线:requests-bs4 定向爬虫:仅对 ...
爬虫爬取中国大学排名top100并简单可视化分析
爬虫爬取中国大学排名top100并简单可视化分析. 目标链接 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html 实践环境 pycharm201 ...

爬虫2_2019年549所中国大学排名

爬虫2_2019年549所中国大学排名相关推荐

最新文章

热门文章