python输出古诗词_python爬取古诗文网

解析：正则表达式

代码

import requests

import re

def parse_page(url):

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

}

response = requests.get(url,headers)

text = response.text

titles = re.findall(r'

.*?(.*?)',text,re.DOTALL)

dynasties = re.findall(r'

.*?(.*?)',text,re.DOTALL)

authors = re.findall(r'

.*?.*?(.*?)',text,re.DOTALL)

contents_tags = re.findall(r'

(.*?)

',text,re.DOTALL)

contents = []

for content in contents_tags:

content = re.sub(r'<.*?>','',content)

contents.append(content.strip())

poems = []

for value in zip(titles,dynasties,authors,contents):

title,dynasty,author,content = value

poem = [

{

'title':title,

'dynasties':dynasty,

'authors':author,

'contents':content

}

]

poems.append(poem)

for poem in poems:

print(poem)

print('---'*80)

def main():

url = 'https://www.gushiwen.org/default_1.aspx'

for page in range(1,101):

url = url = 'https://www.gushiwen.org/default_%s.aspx'%page

parse_page(url)

if __name__ == '__main__':

main()

python输出古诗词_python爬取古诗文网相关推荐

Python真香之爬取古诗文网
最近在学习Python相关,学习了基本的语法后想搞点事情试试,所以来爬取下古诗文网中的相关作者信息准备资料: 爬取目标:爬取古诗文网的唐代作者的信息目标分析: 一级页面是所有唐代作者的列表,点击名 ...
Python实战---使用正则表达式爬取古诗文网
使用正则表达式爬取古诗文网爬取目标具体字段为: title 标题 dynasty 朝代 author 作者 content 内容 tag 标签实现代码 ''' @Description: 使用正 ...
Python使用网络抓包的方式，利用超级鹰平台识别验证码登录爬取古诗文网、上篇--识别验证码
Python使用网络抓包的方式,利用超级鹰平台识别验证码登录,<爬取古诗文网>. 上篇–识别验证码序言: 哈喽,各位小可爱们,我又来了,这次我新学习到的内容是python爬虫识别验证码. ...
爬取古诗文网的推荐古诗
爬取古诗文网的推荐古诗思路分析完整代码结果展示思路分析本次的主要目的是练习使用正则表达式提取网页中的数据. 该网站的推荐古诗文一共有10页,页码可以在URL中进行控制,比如说,下面的URL指 ...
python爬取新闻存入数据库_python 爬取古诗文存入mysql数据库的方法
使用正则提取数据,请求库requests,看代码,在存入数据库时,报错ERROR 1054 (42S22): Unknown column 'title' in 'field list'.原来是我写s ...
Python爬虫（一）——爬取古诗文网，初识什么是爬虫
首先来说下什么是爬虫,按照百度百科的说法是:是一种按照一定规则,自动抓取万维网信息的程序或者脚本:首先它是程序,需要我们定义好规则,然后程序就会按照定义好的规则抓取网络上的信息,数据抓取下来了之后,需 ...
python 简书_python爬取简书网文章的方法
python爬取简书网文章的方法发布时间:2020-06-30 14:37:08 来源:亿速云阅读:100 作者:清晨这篇文章主要介绍python爬取简书网文章的方法,文中示例代码介绍的非常详细 ...
Python-爬虫（爬虫练习爬取古诗文网五言绝句）
目标网站采用的数据解析方式:xpath.bs4.re正则获取网站中所有的五言绝句诗词链接 from bs4 import BeautifulSoup import re# 获取五言绝句代码链接,以 ...
爬虫学习笔记：爬取古诗文网
1.目标网站目标网站:https://so.gushiwen.org/shiwen/default.aspx? 2.爬虫目的爬取目标网站的文本,如古诗的内容,作者,朝代,并且保存到本地中. 3.爬 ...

python输出古诗词_python爬取古诗文网

python输出古诗词_python爬取古诗文网相关推荐

最新文章

热门文章