前言

使用requests库下载开源网站的小说

注意：本文仅用于学习交流，禁止用于盈利或侵权行为。

操作系统：windows10 家庭版
开发环境：Pycharm Conmunity 2022.3
解释器版本：Python3.8
第三方库：requests、bs4

第三方库的安装

需要安装 bs4 和 requests 库
你可以参考我的以下文章获取些许帮助：

Python第三方库安装——使用vscode、pycharm安装Python第三方库
Python中requests库使用方法详解

示例代码

import requests
from bs4 import BeautifulSoup# 伪装浏览器头
header={"User-agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Mobile Safari/537.36 Edg/112.0.1722.48"}# 53851740 是第一章的位置
# 746 - 740 = 6， 即爬取6章
for i in range(740,746):# 选定URLurl= ("https://www.bbiquge.net/book/476/53851{}.html".format(i))# 请求页面，返回response对象resp=requests.get(url=url,headers=header)#解析页面html=BeautifulSoup(resp.text,"html.parser")# 获取标题title=html.find("h1")# 获取正文content=html.find("div",id="content")# 写入文件with open("{}.txt".format(title.text),"w+",encoding="utf-8") as f:f.write((content.text).replace(" ","\n") )f.close()

效果演示

结尾

代码尚不完善，代码风格不符合标准，还有值得更改的地方，如：可以去除小说中的广告，合并到同一个txt文件中等

与爬取电影影评一样，也可以通过更改以下界面的值来达到爬取不同的小说的效果

Python爬虫实战——下载小说相关推荐

python 爬虫：下载小说
最近在水滴阅读看英文原著<绿野仙踪>,在PP作文中下载中文版本. 下载到第12章的时候,好像是html网页出错,拿不到下一章的url. 跳过12章,将首页地址更新为第13章,可以继续下 # ...
Python爬虫实战下载原力创付费文档---全屏阅览式
下载原力创付费文档-全屏阅览式一.项目需求: 从目标网址下载付费文档,并保存为word形式网址点这里二.思路 1.利用selenium实现异步加载,获取图片url 2.爬取图片 3.将图片写进w ...
Python爬虫实战下载原力创付费文档---滑动式
下载原力创付费文档-滑动式一.项目需求: 从目标网址下载付费文档,并保存为PDF形式网址点这里二.思路 1.利用selenium实现异步加载,获取图片url 2.爬取图片 3.将图片写进word ...
python爬虫图片实例-【图文详解】python爬虫实战——5分钟做个图片自动下载器...
我想要(下)的,我现在就要 python爬虫实战--图片自动下载器之前介绍了那么多基本知识[Python爬虫]入门知识(没看的赶紧去看)大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk ...
Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3)
Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3) 1. 异步加载爬虫对于静态页面爬虫很容易获取到站点的数据内容,然而静态页面需要全量加载站点的所有数据,对于网站的访问 ...
【爬虫实战项目】Python爬虫批量下载音乐飙升榜并保存本地（附源码）
前言今天给大家介绍的是Python爬虫批量下载音乐飙升榜并保存本地,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是 ...
【图文详解】python爬虫实战——5分钟做个图片自动下载器
python爬虫实战--图片自动下载器之前介绍了那么多基本知识[Python爬虫]入门知识,大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk is cheap show me the c ...
python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
Python爬虫实战 — — Wallhaven壁纸高清原图下载
Python爬虫实战 - - Wallhaven壁纸高清原图下载一.网站分析二.可行性分析三.代码分析 1.所需第三方库与请求头 2.获取当前页的所有壁纸图像链接 3.根据图像链接存储本地 4. ...

Python爬虫实战——下载小说

Python爬虫实战——下载小说

前言

第三方库的安装

示例代码

效果演示

结尾

Python爬虫实战——下载小说相关推荐

最新文章

热门文章