python爬取笔趣阁

闲来无事，看到别人爬取笔趣阁，我也来试试。
首先打开笔趣阁网站

随便找本书看看

先查看网页源码，发现

这里显示的章节都可以从源码中找到
随便找个链接点进去发现是每一个章节。然后对章节查看源码，发现是静态网页。

由是开始撸代码
不过我不是通过这种方法写的，我是根据第一章的下一章的链接爬取，通过不断循环。代码如下：

前面常规操作就不写注释了。

主入口

小白一枚，代码有点丑，，，
大佬勿喷。

import requests
import parseldef get_response(url):headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}response = requests.get(url=url, headers=headers)return responsedef get_next_chapter(first_url):response = get_response(first_url).content.decode('gbk')html_data = parsel.Selector(response)next_chapter_url = html_data.xpath('//div[@class="bottem"]/a[4]/@href').extract_first()return next_chapter_urldef save_txt():#这里写你要爬取的书的第一页，如果出错啦还可以输入出错章节的网址继续下载。first_url = 'https://www.52bqg.com/book_33151/26966299.html'with open('1.txt','a',encoding='utf-8') as f:try:while True: #不断爬取下一章节response = get_response(first_url).content.decode('gbk')#print(response)html_data = parsel.Selector(response)#rint(html_data)next_url = get_next_chapter(first_url=first_url)#获取下一章urlfirst_url = next_url #替换下一章urltext = html_data.xpath('//div[@id="content"]/text()').extract()[1:]name = html_data.xpath('//div[@class="bookname"]/h1/text()').extract_first()if not name:passelse:print(name+'下载完成')f.write(name+'\n')for i in text:txt = i.strip()f.write(txt + '\n')except requests.RequestException as e:print('出错啦，请检查控制台查看错误信息，有可能下载完毕！')print(e)if __name__ == '__main__':save_txt()

python爬取笔趣阁相关推荐

python爬取笔趣阁小说（附源码）
python爬取笔趣阁小说文章目录 python爬取笔趣阁小说前言一.获取小说目录结构获取目录连接请求代码解析目录 XPath tqdm 解析二.获取小说章节结构请求代码解析章节代 ...
python爬取小说爬取_用python爬取笔趣阁小说
原标题:用python爬取笔趣阁小说首先打开笔趣阁网址,链接,搜索自己想要的小说. 在网站内单击右键,点击检查,会出现如下界面! 我们需要的章节信息就在我划的这块, 可以将每个标签点一下,它对应的内 ...
1.python爬取笔趣阁小说
前一阵无聊想学习python,就有了以下代码,选取了笔趣阁这个大众化的网站,百度发现以笔趣阁为名的小说网站很多,本段代码只在百度结果里选取前五条,并选取了三个叫笔趣阁的网站,前五条里包含笔趣阁的任意一 ...
Python爬取笔趣阁小说，有趣又实用！
上班想摸鱼?为了摸鱼方便,今天自己写了个爬取笔阁小说的程序.好吧,其实就是找个目的学习python,分享一下. 1. 首先导入相关的模块 import os import requests from ...
用python爬取笔趣阁小说并分章节保存到本地
在宿舍无聊时想做点小程序,刚好又看到笔趣阁的广告,就想着爬一下小说看看,通过网上的爬取教程整理的使用beautifulsoup解析request获取的HTML http://beautifulsou ...
Python爬取笔趣阁小说2.0版
之前的爬虫文章中,我们只可以爬取某本特定的小说,小波大叔一般喜欢看玄幻和修真类的,那么想把这一类小说全部爬下来该怎么操作呢,2.0版本来了,依然还是笔趣阁网站,初学者而言,这个没有反扒机制,比较方便. ...
通过python爬取笔趣阁小说，获取图片保存本地，数据保存mysql
通过python爬取小说图片.小说名称.作者.章节.内容.直接上代码 import requests import time from bs4 import BeautifulSoup from qu ...
1-4 python爬取笔趣阁小说（附带完整代码）
笔趣看是一个盗版小说网站,这里有很多起点中文网的小说,该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度.并且该网站只支持在线浏览,不支持小说打包下载.所以可以通过python爬取文本信息保存, ...
python爬取笔趣阁小说的代码微小调整修改
原文来自: https://blog.csdn.net/u012717715/article/details/92811743 本人说明:其实严格地这不是转载,实际上更应该算是原创!原文代码不能正常 ...

python爬取笔趣阁

python爬取笔趣阁相关推荐

最新文章

热门文章