BeautifulSoup编写PYTHON爬虫案例-下载名著小说

爬虫背景

目的：爬取诗词名著网上的小说
网页：http://www.shicimingju.com/book/sanguoyanyi.html
分析过程：
1、查找当前页面多个章节的URL
2、打开每个章节保存文字内容

代码如下：

import requests
from bs4 import BeautifulSoupurl = 'http://www.shicimingju.com/book/sanguoyanyi.html'
header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
res = requests.get(url,headers=header).textsoup = BeautifulSoup(res,'html.parser')
mulu = soup.find('div',class_='book-mulu').find_all('a')
book_name = soup.h1.string
chapter_url = ['http://www.shicimingju.com'+x['href'] for x in mulu]f=open(book_name+'.txt','a',encoding='utf-8')
for i in chapter_url:res = requests.get(i,headers=header).textsoup = BeautifulSoup(res,'html.parser')contents = soup.find('div',class_='card bookmark-list').get_text()f.write(contents)

BeautifulSoup编写PYTHON爬虫案例-下载名著小说相关推荐

Python爬虫实战——下载小说
Python爬虫实战--下载小说前言第三方库的安装示例代码效果演示结尾前言使用requests库下载开源网站的小说注意:本文仅用于学习交流,禁止用于盈利或侵权行为. 操作系统:wind ...
Python 爬虫案例（二）--附件下载
Python 爬虫案例(二) 此篇文章将爬取的网站是:http://www.warrensburg-mo.com/Bids.aspx (有时候打开不一定会有标书,因为标书实时更新) 类型跟上一篇相似, ...
python网络爬虫的基本步骤-黑客基础编写Python爬虫入门步骤
原标题:黑客基础编写Python爬虫入门步骤信息时代,数据就是宝藏.数据的背后隐含着无穷的宝藏,这些宝藏也许就是信息量所带来的商业价值,而大数据本身也将成为桌面上的筹码. 黑客花无涯带你走进黑客 ...
python爬虫步骤-黑客基础编写Python爬虫入门步骤
原标题:黑客基础编写Python爬虫入门步骤信息时代,数据就是宝藏.数据的背后隐含着无穷的宝藏,这些宝藏也许就是信息量所带来的商业价值,而大数据本身也将成为桌面上的筹码. 黑客花无涯带你走进黑客 ...
python爬虫简单实例-最简单的Python爬虫案例，看得懂说明你已入门，附赠教程
原标题:最简单的Python爬虫案例,看得懂说明你已入门,附赠教程这是最简单的Python爬虫案例,如果你能看懂,那么请你保持信心,因为你已经入门Python爬虫,只要带着信心和努力,你的技术能力在 ...
python爬虫案例——糗事百科数据采集
全栈工程师开发手册 (作者:栾鹏) python教程全解 python爬虫案例--糗事百科数据采集通过python实现糗事百科页面的内容采集是相对来说比较容易的,因为糗事百科不需要登陆,不需要coo ...
python爬虫案例——csdn数据采集
全栈工程师开发手册 (作者:栾鹏) python教程全解 python爬虫案例--csdn数据采集通过python实现csdn页面的内容采集是相对来说比较容易的,因为csdn不需要登陆,不需要coo ...
如何编写Python爬虫
Python是一种非常流行的编程语言,用于编写各种类型的应用程序,包括网络爬虫.在本文中,我们将介绍如何使用Python编写一个简单的网络爬虫. 步骤1:安装Python 首先,您需要安装Python ...
python爬虫下载-python爬虫之下载文件的方式总结以及程序实例
python爬虫之下载文件的方式以及下载实例目录第一种方法:urlretrieve方法下载第二种方法:request download 第三种方法:视频文件.大型文件下载实战演示第一种方法: ...

BeautifulSoup编写PYTHON爬虫案例-下载名著小说

爬虫背景

代码如下：

BeautifulSoup编写PYTHON爬虫案例-下载名著小说相关推荐

最新文章

热门文章