爬虫爬取学习通知信息
文章目录
- 一、爬虫简介
- 1 .介绍
- 2.爬虫工作过程
- 二、爬取南阳理工学院ACM题目网站
- 三、爬取学校官网的信息通知
- 四、总结
- 五、参考链接
一、爬虫简介
1 .介绍
(1)网络爬虫英文名叫Web Crawler或Web Spider。它是一种自动浏览网页并采集所需要信息的程序。
(2)爬虫从初始网页的URL开始, 获取初始网页上的URL,在抓取网页的过程中,不断从当前页面抽取新的url放入队列。直到满足系统给定的停止条件才停止。
(3)可以为搜素引擎从互联网中下载网页数据,是搜素引擎的重要组成部分。
2.爬虫工作过程
(1)URL管理模块:发起请求。一般是通过HTTP库,对目标站点进行请求。等同于自己打开浏览器,输入网址。
(2)下载模块:获取响应内容(response)。如果请求的内容存在于服务器上,那么服务器会返回请求的内容,一般为:HTML,二进制文件(视频,音频),文档,Json字符串等。
(3)解析模块:解析内容。对于用户而言,就是寻找自己需要的信息。对于Python爬虫而言,就是利用正则表达式或者其他库提取目标信息。
(4)存储模块:保存数据。解析得到的数据可以多种形式,如文本,音频,视频保存在本地。
二、爬取南阳理工学院ACM题目网站
1.打开网页http://www.51mxd.cn/problemset.php-page=1.htm,查看页面源代码,可以要看到我们要爬取的信息都在TD这个标签内
2.新建文件,写入代码
import requests# 导入网页请求库
from bs4 import BeautifulSoup# 导入网页解析库
import csv
from tqdm import tqdm# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']# 题目数据
subjects = []# 爬取题目
print('题目信息爬取中:\n')
for pages in tqdm(range(1, 11 + 1)):# 传入URLr = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)r.raise_for_status()r.encoding = 'utf-8'# 解析URLsoup = BeautifulSoup(r.text, 'html5lib')#查找爬取与td相关所有内容td = soup.find_all('td')subject = []for t in td:if t.string is not None:subject.append(t.string)if len(subject) == 5:subjects.append(subject)subject = []# 存放题目
with open('D:\zhangyun1.csv', 'w', newline='') as file:fileWriter = csv.writer(file)fileWriter.writerow(csvHeaders)fileWriter.writerows(subjects)print('\n题目信息爬取完成!!!')
文件里的内容
三、爬取学校官网的信息通知
1.还是分析网页源代码,先打开网页http://news.cqjtu.edu.cn/xxtz.htm,这次要看的信息是全部通知通知发出的时间和通知的标题
2.按键盘F12,可以看到需要爬取的内容
3.代码实现
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 17 14:39:03 2021@author: 86199
"""
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error # 制定URL 获取网页数据# 所有新闻
subjects = []# 模拟浏览器访问
Headers = { # 模拟浏览器头部信息"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}# 表头
csvHeaders = ['时间', '标题']print('信息爬取中:\n')
for pages in tqdm(range(1, 65 + 1)):# 发出请求request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)html = ""# 如果请求成功则获取网页内容try:response = urllib.request.urlopen(request)html = response.read().decode("utf-8")except urllib.error.URLError as e:if hasattr(e, "code"):print(e.code)if hasattr(e, "reason"):print(e.reason)# 解析网页soup = BeautifulSoup(html, 'html5lib')# 存放一条新闻subject = []# 查找所有li标签li = soup.find_all('li')for l in li:# 查找满足条件的div标签if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:# 时间for time in l.find_all('div',class_="time"):subject.append(time.string)# 标题for title in l.find_all('div',class_="right-title"):for t in title.find_all('a',target="_blank"):subject.append(t.string)if subject:print(subject)subjects.append(subject)subject = []# 保存数据
with open('D:\cqjtu.csv', 'w', newline='',encoding='utf-8') as file:fileWriter = csv.writer(file)fileWriter.writerow(csvHeaders)fileWriter.writerows(subjects)print('\n信息爬取完成!!!')
打开生成的cqjtu.csv文件
四、总结
本实验主要是学习示例代码,对关键代码语句写出详细注释,编程完成对南阳理工学院ACM题目网站 http://www.51mxd.cn/ 练习题目数据的抓取和保存;改写爬虫示例代码,将重庆交通大学新闻网站中近几年所有的信(http://news.cqjtu.edu.cn/xxtz.htm) 的发布日期和标题全部爬取下来,并写到CSV电子表格中。
五、参考链接
https://blog.csdn.net/weixin_56102526/article/details/121366806?spm=1001.2014.3001.5501
爬虫爬取学习通知信息相关推荐
- 爬虫爬取学校通知信息(python))
呦呦鹿鸣 一.爬虫简介 1.1 介绍 1.2 软件配置 二.爬取南阳理工学院ACM题目网站 三.爬取学校官网的信息通知 四.总结 五.参考 一.爬虫简介 1.1 介绍 网络爬虫英文名叫Web Craw ...
- java爬虫拉勾网_[Java教程]node.js爬虫爬取拉勾网职位信息
[Java教程]node.js爬虫爬取拉勾网职位信息 0 2017-03-14 00:00:21 简介 用node.js写了一个简单的小爬虫,用来爬取拉勾网上的招聘信息,共爬取了北京.上海.广州.深圳 ...
- Python POST 爬虫爬取掘金用户信息
Python POST 爬虫爬取掘金用户信息 1. 概述 Python第三方库requests提供了两种访问http网页的函数,基于GET方式的get()函数和基于POST方式的post()函数. g ...
- 深圳python爬虫培训南山科技园钽电容回收_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题...
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
- python解决租房问题_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
- python爬虫爬取豆瓣电影信息城市_Python爬虫入门 | 2 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
- 简单爬虫,爬取天猫商品信息
前言 这是我第一次用Java来写爬虫项目,研究的也不是很透彻,所以爬虫技术的理论方面的就不说太多了. 主要还是以如何爬取商品信息为主,爬取最简单的商品信息,给出大概的思路和方法. 对于没有反爬技术的网 ...
- python爬虫爬取豆瓣电影信息城市_python爬虫,爬取豆瓣电影信息
hhhhh开心,搞了一整天,查了不少python基础资料,终于完成了第一个最简单的爬虫:爬取了豆瓣top250电影的名字.评分.评分人数以及短评. 代码实现如下:#第一个最简单的爬虫 #爬取了豆瓣to ...
- 高温来袭?通过python爬虫爬取天气预警信息
需求分析 最近一段时间,天气也是越来越热了,真正的进入了夏天了.可怕的故事是,现在才只有6月份呢,要是等到了7,8月份,不会是要更热吧? 一个小伙伴对此也深表赞同,"仙草哥哥,现在天气的温度 ...
最新文章
- vue element 导出blob后台文件流xlsx文件自动下载(且规避乱码)
- Keras K.switch()用法
- POJ 3691 DNA repair AC自动机 + DP
- 编写你的第一个 Flutter App
- 深度学习笔记一:稀疏自编码器
- html5 json转字符串,web前端-js小记(5)-字符串及json
- 北京内推 | 京东推荐招聘内容推荐研发工程师(2022届校招)
- 怎么下载haarcascade_frontalface_default.xml
- 400分理科学计算机,理科400分,专科批次,有4所211大学可以报考
- C# VS2017 winForm 使tableLayoutPanel 不闪烁
- GIT上fork的项目获取最新源代码
- java实时推送_JAVA 基于websocket的前台及后台实时推送
- 固态硬盘用软件测试温度高,硬盘温度过高的原因,固态硬盘温度过高-
- js清空浏览器cokie缓存_JS设置cookie,删除cookie
- Spring框架学习总结(上)
- python找出3或者5的倍数_在 python 中,确定3或者5的倍数
- 双系统linux开机黑屏,解决双系统中ubuntu开关机异常,黑屏,出现“nouveau , SCHED_ERROR”字样等的问题...
- python程序运行进程、使用时间、剩余时间显示
- 华硕主板H81M-E BIOS刷NVMe支持M.2固态硬盘成功
- Mac下使用Eclipse读java源码