第5关：爬取单页多个div标签的信息

任务描述

本关任务：改进上一关的代码。爬取湖南大学讲座网页的多个讲座信息，存储在二维列表jzxx中。湖南大学讲座信息的网址为学术活动-湖南大学

编程要求

根据提示，在右侧编辑器补充代码，爬取湖南大学讲座网页的多个讲座信息，存储在二维列表jzxx中。

开始你的任务吧，祝你成功！

import requests

from bs4 import BeautifulSoup

url = 'https://www.hnu.edu.cn/xysh/xshd.htm'

r = requests.get(url)

r.encoding = 'utf-8'

jzxx=[]

#代码开始

soup = BeautifulSoup(r.text, "html.parser")

lb = soup.find_all("div", class_="xinwen-wen")

for i in lb:

jzsj = i.find("div", class_= "xinwen-sj-top").text.strip()

jzbt = i.find("div", class_= "xinwen-wen-bt").text.strip()

jzdd = i.find("div", class_= "xinwen-wen-zy").text.strip()

jzxx.append([jzsj,jzbt,jzdd])

#代码结束

f1=open("jzxx2.txt","w")

for xx in jzxx:

f1.write(",".join(xx)+"\n")

f1.close()

第5关：爬取单页多个div标签的信息相关推荐

【爬虫】毕设学习记录：python爬取静态网页（只爬取单页）
毕设题目是对指定网页内容进行正负向判断,并输出判断结果. 所以只需要爬取单页面的内容即可. 目标网页:在途网-哈尔滨酒店评价 [第一步:客户端向目标网址(服务器)发起get请求] import req ...
python爬虫爬取多个页面_Python 爬虫爬取多页数据
但是,按照常规的爬取方法是不可行的,因为数据是分页的: 最关键的是,不管是第几页,浏览器地址栏都是不变的,所以每次爬虫只能爬取第一页数据.为了获取新数据的信息,点击F12,查看页面源代码,可以发现数据 ...
爬虫实战：批量爬取京东内衣图片（自动爬取多页，非一页）
做下男生想做的事,爬取大量妹子内衣图. 作者: 电气-余登武准备工作假如我们想把京东内衣类商品的图片全部下载到本地,通过手工复制粘贴将是一项非常庞大的工程,此时,可以用python爬虫实现. 第一 ...
NO.1_python_scrapy组成爬取多页数据连接数据库配置文件书写
scrapy框架组成及各部分作用 item pipelines: 用于存放需要存储数据的数据模型,一般格式为: #需要存储多少中类型的数据就写多少行,一般是key_value组合 '数据名称,即·ke ...
新浪微博粉丝爬虫-wap站只能爬取20页-
由上图可见:微博已经视粉丝分布为商业机密,故爬取难度越来越大.无论web上爬,还是手机上爬,均受限. 两种方式:手动爬+微博API爬. 本文展示手动爬,以李易峰的粉丝分布为基础,只能爬取20页,源码如 ...
网易云爬虫-爬取单曲和歌单所有歌曲
网易云爬虫-爬取单曲和歌单所有歌曲今天断网了敲代码不听歌的程序员是没有灵魂的,但是本地下载又太繁琐了,想着能不能一下把一个歌单的内容按文件夹进行下载,说做就做. 首先网上已经有了网易云js加载 ...
python爬虫:爬取多页斗鱼颜值图片并且下载到本地
项目结构 main.py 运行scrapy from scrapy import cmdline cmdline.execute("scrapy crawl douyu_scrapy&quo ...
爬取虎扑网站上NBA球员数据信息
爬虫案例的一般步骤 1.确定url地址(网页分析)爬虫程序就完成了一半 2.发送网络请求 requests(js\html\css) 3.数据解析(筛选数据) 4.保存数据(本地文件\数据库) 本次爬 ...
基于golang的爬虫demo，爬取微博用户的粉丝和关注者信息
基于golang的爬虫demo,爬取微博用户的粉丝和关注者信息注意:仅供学习交流,任何非法使用与作者无关! 目录基于golang的爬虫demo,爬取微博用户的粉丝和关注者信息一.背景与取材二. ...

第5关：爬取单页多个div标签的信息

任务描述

相关知识

编程要求

第5关：爬取单页多个div标签的信息相关推荐

最新文章

热门文章