Python爬取笔趣阁小说，有趣又实用！

上班想摸鱼？为了摸鱼方便，今天自己写了个爬取笔阁小说的程序。好吧，其实就是找个目的学习python，分享一下。

1. 首先导入相关的模块

import os
import requests
from bs4 import BeautifulSoup

2. 向网站发送请求并获取网站数据

网站链接最后的一位数字为一本书的id值，一个数字对应一本小说，我们以id为1的小说为示例。进入到网站之后，我们发现有一个章节列表，那么我们首先完成对小说列表名称的抓取

# 声明请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}# 创建保存小说文本的文件夹
if not os.path.exists('./小说'):os.mkdir('./小说/')# 访问网站并获取页面数据
response = requests.get('http://www.biquw.com/book/1/').text
print(response)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Uu2ddyQB-1618914957232)(.\素材图片\中文显示乱码.png)]

写到这个地方同学们可能会发现了一个问题，当我去正常访问网站的时候为什么返回回来的数据是乱码呢？

这是因为页面html的编码格式与我们python访问并拿到数据的解码格式不一致导致的，python默认的解码方式为utf-8，但是页面编码可能是GBK或者是GB2312等，所以我们需要让python代码很具页面的解码方式自动变化

#### 重新编写访问代码
```python
response = requests.get('http://www.biquw.com/book/1/')
response.encoding = response.apparent_encoding
print(response.text)'''
这种方式返回的中文数据才是正确的
'''

3. 拿到页面数据之后对数据进行提取

当大家通过正确的解码方式拿到页面数据之后，接下来需要完成静态页面分析了。我们需要从整个网页数据中拿到我们想要的数据(章节列表数据)

首先打开浏览器
按F12调出开发者工具
选中元素选择器
在页面中选中我们想要的数据并定位元素
观察数据所存在的元素标签

'''
根据上图所示，数据是保存在a标签当中的。a的父标签为li，li的父标签为ul标签，ul标签之上为div标签。所以如果想要获取整个页面的小说章节数据，那么需要先获取div标签。并且div标签中包含了class属性，我们可以通过class属性获取指定的div标签，详情看代码~
'''
# lxml: html解析库 将html代码转成python对象，python可以对html代码进行控制
soup = BeautifulSoup(response.text, 'lxml')
book_list = soup.find('div', class_='book_list').find_all('a')
# soup对象获取批量数据后返回的是一个列表，我们可以对列表进行迭代提取
for book in book_list:book_name = book.text# 获取到列表数据之后，需要获取文章详情页的链接，链接在a标签的href属性中book_url = book['href']

4. 获取到小说详情页链接之后进行详情页二次访问并获取文章数据

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)
book_info_html.encoding = book_info_html.apparent_encoding
soup = BeautifulSoup(book_info_html.text, 'lxml')

5. 对小说详情页进行静态页面分析

info = soup.find('div', id='htmlContent') print(info.text)

6. 数据下载

with open('./小说/' + book_name + '.txt', 'a', encoding='utf-8') as f:f.write(info.text)

最后让我们看一下代码效果吧~

抓取的数据

文章正文到这里已经结束了，只是想感谢一些阅读我文章的人。

近期有很多朋友通过私信咨询有关Python学习问题。为便于交流，点击蓝色自己加入讨论解答资源基地

Python爬取笔趣阁小说，有趣又实用！相关推荐

python爬取笔趣阁小说（附源码）
python爬取笔趣阁小说文章目录 python爬取笔趣阁小说前言一.获取小说目录结构获取目录连接请求代码解析目录 XPath tqdm 解析二.获取小说章节结构请求代码解析章节代 ...
python爬取小说爬取_用python爬取笔趣阁小说
原标题:用python爬取笔趣阁小说首先打开笔趣阁网址,链接,搜索自己想要的小说. 在网站内单击右键,点击检查,会出现如下界面! 我们需要的章节信息就在我划的这块, 可以将每个标签点一下,它对应的内 ...
1.python爬取笔趣阁小说
前一阵无聊想学习python,就有了以下代码,选取了笔趣阁这个大众化的网站,百度发现以笔趣阁为名的小说网站很多,本段代码只在百度结果里选取前五条,并选取了三个叫笔趣阁的网站,前五条里包含笔趣阁的任意一 ...
用python爬取笔趣阁小说并分章节保存到本地
在宿舍无聊时想做点小程序,刚好又看到笔趣阁的广告,就想着爬一下小说看看,通过网上的爬取教程整理的使用beautifulsoup解析request获取的HTML http://beautifulsou ...
Python爬取笔趣阁小说2.0版
之前的爬虫文章中,我们只可以爬取某本特定的小说,小波大叔一般喜欢看玄幻和修真类的,那么想把这一类小说全部爬下来该怎么操作呢,2.0版本来了,依然还是笔趣阁网站,初学者而言,这个没有反扒机制,比较方便. ...
通过python爬取笔趣阁小说，获取图片保存本地，数据保存mysql
通过python爬取小说图片.小说名称.作者.章节.内容.直接上代码 import requests import time from bs4 import BeautifulSoup from qu ...
1-4 python爬取笔趣阁小说（附带完整代码）
笔趣看是一个盗版小说网站,这里有很多起点中文网的小说,该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度.并且该网站只支持在线浏览,不支持小说打包下载.所以可以通过python爬取文本信息保存, ...
python爬取笔趣阁小说的代码微小调整修改
原文来自: https://blog.csdn.net/u012717715/article/details/92811743 本人说明:其实严格地这不是转载,实际上更应该算是原创!原文代码不能正常 ...
python 爬取笔趣阁小说（TK可视化）
import requests from lxml import etree from pyquery import PyQuery as pq import re import time from ...

Python爬取笔趣阁小说，有趣又实用！

Python爬取笔趣阁小说，有趣又实用！相关推荐

最新文章

热门文章