使用Xpath爬虫库下载诗词名句网的史书典籍类所有文章。

# 需要的库
from lxml import etree
import requests
# 请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 保存文本的地址
pathname=r'E:\爬虫\诗词名句网\\'
# 获取书籍名称的函数
def get_book(url):response = requests.get(url,headers)etrees = etree.HTML(response.text)url_infos = etrees.xpath('//div[@class="bookmark-list"]/ul/li')for i in url_infos:url_info = i.xpath('./h2/a/@href')book_name = i.xpath('./h2/a/text()')[0]print('开始下载.'+book_name)# print('http://www.shicimingju.com'+url_info[0])get_index('http://www.shicimingju.com'+url_info[0])
# 获取书籍目录的函数
def get_index(url):response = requests.get(url, headers)etrees = etree.HTML(response.text)url_infos = etrees.xpath('//div[@class="book-mulu"]/ul/li')for i in url_infos:url_info = i.xpath('./a/@href')# print('http://www.shicimingju.com' + url_info[0])get_content('http://www.shicimingju.com' + url_info[0])
# 获取书籍内容并写入.txt文件
def get_content(url):response = requests.get(url, headers)etrees = etree.HTML(response.text)title = etrees.xpath('//div[@class="www-main-container www-shadow-card "]/h1/text()')[0]content = etrees.xpath('//div[@class="chapter_content"]/p/text()')content = ''.join(content)book_name=etrees.xpath('//div[@class="nav-top"]/a[3]/text()')[0]with open(pathname+book_name+'.txt','a+',encoding='utf-8') as f:f.write(title+'\n\n'+content+'\n\n\n')print(title+'..下载完成')# 程序入口
if __name__ == '__main__':url = 'http://www.shicimingju.com/book/'get_book(url)

控制台查看下载过程；
打开文件夹查看是否下载成功；

使用Xpath爬虫库下载诗词名句网的史书典籍类所有文章。相关推荐

使用Xpath+多进程爬取诗词名句网的史书典籍类所有文章。update~
上次写了爬取这个网站的程序,有一些地方不完善,而且爬取速度较慢,今天完善一下并开启多进程爬取,速度就像坐火箭.. # 需要的库 from lxml import etree import reques ...
python爬虫爬取诗词名句网
使用requests库,xpath库 import requests import time from lxml import etree# 去请求页面的函数 def request_Header(u ...
每日爬虫练习：bs4库爬取诗词名句网的四大名著
一.前言 2020-04-2日爬虫练习爬取网站:诗词名句网的四大名著需求:将四大名著的每一个章节存储到本地技术路线: 1.requests 2.BeautifulSoup 3.os 二.代码解释 ...
爬取诗词名句网的三国演义小说
爬取诗词名句网的三国演义小说诗词名句网,有很多的诗词和一些课本上古诗的,是一个很好的文学网站,但是我们就来爬取诗词名句网的三国演义小说第一步我们还是导入要导入的库: import requests ...
爬虫学习（12）：爬取诗词名句网并且下载保存
用BeautifulSoup爬取并且下载.仅仅用作学习用途哈,不然又侵权了. 效果: 由于我是正在自学爬虫,不是很能找到非常优化的办法,是一名计算机大二学生,代码可能不是很好,还请大神指点,这是我扣扣 ...
Python爬虫诗词名句网教程
爬取的基本步骤一.明确需求爬取网站内的小说名小说内容二.代码讲解下面根据代码,从浅入深给大家讲解分析一遍 -- codeing = utf-8 --,开头的这个是设置编码为utf-8 ,写在 ...
雪球python爬虫炒股_《雪》_罗隐的诗词_诗词名句网
作品赏析 [注释]: [1]若何:怎么样. 有一类诗,刚接触时感到质木无文,平淡无奇,反复涵咏,却发现它自有一种发人深省的艺术力量.罗隐的<雪>就是这样的作品. 题目是"雪&qu ...
用HTML写一首绝句古诗,《绝句二首》_杜甫的诗词_诗词名句网
作品赏析迟日江山丽,春风花草香. 泥融飞燕子,沙暖睡鸳鸯. 清代的诗论家陶虞开在<说杜>一书中指出,杜集中有不少"以诗为画"的作品.这一首写于成都草堂的五言绝句,就是 ...
因子分析python代码_关于「因」的诗词(649首)_诗词名句网
全吴临巨溟,百里到沪渎.海物竞骈罗,水怪争渗漉. 狂蜃吐其气,千寻勃然蹙.一刷半天墨,架为欹危屋. 展开全文怒鲸瞪相向,吹浪山毂毂.倏忽腥杳冥,须臾坼崖谷. 帝命有严程,慈物敢潜伏.嘘之为玄云,弥亘 ...

使用Xpath爬虫库下载诗词名句网的史书典籍类所有文章。

使用Xpath爬虫库下载诗词名句网的史书典籍类所有文章。相关推荐

最新文章

热门文章