如何利用Python爬虫获取网络小说

前言：

随着网络的时代的发展，人们很少去安静的去看一本书。而是选择看网络小说，可是网络小说有些要钱才能看。

无限小说网：

https://www.555x.org/

里边的内容是完全免费的，提供了各种种类的小说。满足用户的需要。可一页一页看小说太麻烦，直接下载多方便。

今天教大家爬取无限小说网，把小说的下载链接通过网络请求直接下载。

一、项目目的

获取对应小说的下载链接，点击下载链接网址，下载对应的txt文件。

二、项目准备

软件：PyCharm

需要的库：requests、lxml、fake_useragent

网站如下：

https://www.555x.org/html/wuxiaxianxia/list_29_{}.html

点击下一页时，list_29_{}每增加一页自增加1，用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。

三、项目实现

1、定义一个class类继承object，定义init方法继承self，主函数main继承self。导入需要的库和网址，代码如下所示。

import requests
from lxml import etree
from fake_useragent import UserAgent
import timeclass  xiaoshuo(object):def __init__(self):self.url = "https://www.xiachufang.com/explore/?page={}"def main(self):passif __name__ == '__main__':imageSpider =  xiaoshuo()imageSpider.main()

2、随机产生UserAgent。

for i in range(1, 50):self.headers = {'User-Agent': ua.random,}

3、发送请求，获取响应, 页面回调，方便下次请求。

def get_page(self, url):res = requests.get(url=url, headers=self.headers)html = res.content.decode("utf-8")return html

4、xpath解析一级页面数据,获取页面信息。

（1）f12运行浏览器，右键检查。找到对应二级页面的地址。

（2）二级页面，右键检查。点击下载按钮，找到对应三级页面的地址。

5、三级页面，先找到对应的父节点，再for循环遍历进行爬取。

for rd in three:b = rd.xpath('..//div[@class="shutou"]//b/text()')[0].strip()tress = rd.xpath('..//div[@class="shuji"]//ul/li/a/@href')[0].strip()# print(tress)

6、定义read保存对应的小说名字，下载链接。

read = '''《%s》 下 载 链 接 : %s ''' % (b, tress)
print(read)

7、调用方法，实现功能。

html = self.get_page(url)
self.parse_page(html)

四、效果展示

1、点击绿色小三角运行输入起始页，终止页。

2、运行程序后，结果显示在控制台，如下图所示。

3、点击蓝色下载链接, 网络下载

4、双击小说文件，内容如下图所示。

最后总结：

1、不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

2、本文基于Python网络爬虫，利用爬虫库，实现爬取小说下载链接，网络请求直接下载。

3、实现的时候，总会有各种各样的问题，切勿眼高手低，勤动手，才可以理解的更加深刻。

4、希望通过这个项目，能够帮助一些上班族，在空闲时能够直接通过网络去获取自己想要的小说。

5、懒人是科技进步的动力。

6、欢迎大家点赞，留言，转发，感谢大家的相伴与支持，需要本文源码关注公众号：【编程语言之家】有惊喜哦！觉得不错，记得给个Star噢~

如何利用Python爬虫获取网络小说相关推荐

Python爬虫 | 利用python爬虫获取想要搜索的数据
这篇文章主要介绍了利用Python爬虫采集想要搜索的信息(利用某du的接口实现)并且处理掉它的反爬手段,文中示例代码很详细,具有一定的学习价值,感兴趣的小伙伴快来一起学习吧. ☀️新人小白博主
[遥感]利用python爬虫获取美国冰雪数据中心的数据
00. 写在前面: 由于最近学习方面需要用到NSIDC(美国冰雪数据中心)的数据进行计算,但是手工下载又特别耗费时间,需要一个一个去点击,所以我尝试着去写一个小爬虫获取所需数据. 对所有需要在NSID ...
利用python爬虫获取中国最好大学排名和B站排行榜视频
笔者刚学到python爬虫无聊玩一玩功能描述: 输入url 获取一系列的数据在命令板输出技术路线:requests>bs4 步骤: List item 先从网上找到中国大学排名的url中 ...
如何利用python爬虫获取网易云音乐某个歌手简介_Python 爬虫获取网易云音乐歌手信息...
今天就先带大家爬取网易云音乐下的歌手信息并把数据保存下来. 爬取结果环境语言:Python 工具:Pycharm 导包 BeautifulSoup:用来解析源码,提取需要的元素. selenium ...
利用Python爬虫获取招聘网站职位信息
当你学会使用Python爬虫之后就会发现想要得到某些数据再也不用自己费力的去寻找,今天小千就给大家介绍一个很实用的爬虫案例,获取Boss直聘上面的招聘信息,同学们一起来学习一下了. Boss直聘爬虫案 ...
利用python爬虫获取豆瓣读书数据建立书单
0. 写在前面网络爬虫: A Web crawler, sometimes called a spider, is an Internet bot that systematically brows ...
利用Python爬虫抓取小说网站全部文章
我们先来选定爬取目标,我爬取的网站是https://www.17k.com/ ,一些大型的网站(如起点.豆瓣等)做了反爬虫的部署,这会大大增加我们抓取的难度,所以尽量还是选一些不那么热门的网站. 爬虫 ...
用Python爬虫获取网络拍卖行的艺术品价格和拍卖结果
目录目录 1. 简介 1.1 爬虫的作用 1.2 选择合适的目标网站 2. 准备工作 2.1 安装所需的库 2.2 User-Agent设置 3. 发起HTTP请求 3.1 获取页面内容 3.2 处 ...
自学三个月的我，利用Python爬虫获取精美素材图片，看看我是怎么做到的（实战篇）
一.项目背景在素材网想找到合适图片需要一页一页往下翻,现在学会python就可以用程序把所有图片保存下来,慢慢挑选合适的图片. 二.项目目标 1.根据给定的网址获取网页源代码. 2.利用正则表达式把 ...
python 爬虫(起点)网络小说
1 先确定要爬取的小说是get 请求换是post 请求 1.1先在网站上打开一篇小说: 1.2 f12 进去开发者模式 1.3 切换到NetWork 发现有一个空白,可以点击左侧的小说内容 NetWo ...

如何利用Python爬虫获取网络小说

如何利用Python爬虫获取网络小说相关推荐

最新文章

热门文章