request+BeautifulSoup:下载《笔趣看》网小说《第九特区》

# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests, sys
import time
"""
类说明:下载《笔趣看》网小说《第九特区》
Parameters:无
Returns:无
Modify:2020-10-16
"""
class downloader(object):def __init__(self):#self.server = 'http://www.biqukan.com/'self.target = 'https://www.biqukan.net/book/126955/' #《第九特区》的网址self.names = []            #存放章节名self.urls = []            #存放章节链接self.nums = 0            #章节数"""函数说明:获取下载链接Parameters:无Returns:无Modify:2017-09-13"""def get_download_url(self):req = requests.get(url = self.target)req.encoding = 'gb2312'  # 设置编码方式html = req.textdiv_bf = BeautifulSoup(html,"html.parser")div = div_bf.find_all('div', class_ = 'panel panel-default')a_bf = BeautifulSoup(str(div[1]),"html.parser")a = a_bf.find_all('a')#self.nums = len(a[15:])                                #剔除不必要的章节，并统计章节数self.nums = len(a)#for each in a[15:]:for each in a:self.names.append("-----------{}----------".format(each.string))self.urls.append(self.target + each.get('href'))"""函数说明:获取章节内容Parameters:target - 下载连接(string)Returns:texts - 章节内容(string)Modify:2017-09-13"""def get_contents(self, target):req = requests.get(url = target)req.encoding = 'gb2312'  # 设置编码方式,否则文档中的中文会乱码html = req.textbf = BeautifulSoup(html,"html.parser")texts = bf.find_all('div', class_ = 'panel-body')'''提取匹配结果后，使用text属性，提取文本内容，滤除br标签。随后使用replace方法，剔除空格，替换为回车进行分段。 在html中是用来表示空格的。replace(’\xa0’*8,’\n\n’)就是去掉下图的八个空格符号(&nbsp;)，并用回车代替'''texts = texts[0].text.replace('\xa0'*8,'\n\n')texts = texts.replace('笔趣看','')texts = texts.replace('www.biqukan.net，最快更新第九特区最新章节！', '')return texts"""函数说明:将爬取的文章内容写入文件Parameters:name - 章节名称(string)path - 当前路径下,小说保存名称(string)text - 章节内容(string)Returns:无Modify:2017-09-13"""def writer(self, name_zhangjie, name_file, text):write_flag = Truewith open(name_file, 'a', encoding='utf-8') as f:f.write(name_zhangjie + '\n')f.writelines(text)f.write('\n\n')if __name__ == "__main__":dl = downloader()dl.get_download_url()print('《第九特区》开始下载：')for i in range(dl.nums):dl.writer(dl.names[i], '第九特区.txt', dl.get_contents(dl.urls[i]))#sys.stdout.write("  已下载:%.3f%%" %  float(i/dl.nums) + '\r')sys.stdout.write("\r  已下载:%.3f%%" %  float(i/dl.nums) )#sys.stdout.write('\033[41;1m.\033[0m')  # 背景色为红色的点sys.stdout.flush()# 边输出边刷新time.sleep(0.1)  # 刷新时间0.1秒print('《第九特区》下载完成')

request+BeautifulSoup:下载《笔趣看》网小说《第九特区》相关推荐

python下载笔趣阁小说生成txt文档
最近在看一本小说,每次点击下一章,就要等哈,而且有的还有广告,有点烦,就下载个txt了,没有广告,没有等待,哈哈代码如下 # coding=utf-8 import requests from bs ...
1.4 爬虫-笔趣阁获取小说例子
#笔趣阁网站 # 1.模拟搜索 # 2.图书查询-章节 # 3.获取章节-内容 # 4.本地存储:txt.mysql.def searchBook():print("************ ...
python爬取最新说章节_练习_Python3 爬取笔趣阁最新小说章节
警告:本文代码仅供学习,禁止违法使用或商用. 这里拿人气小说<黎明之剑>来举个栗子,喜欢小说<黎明之剑>的朋友们请支持正版阅读. 笔趣阁网站上的其他书籍基本上的都可以套用,其他 ...
Python爬虫——从笔趣阁爬小说
这是一个练习作品.用python脚本爬取笔趣阁上面的免费小说. 环境:python3 类库:BeautifulSoup 数据源:http://www.biqukan.cc 原理就是伪装正常http请求 ...
笔趣看小说全部章节爬取实战
import requests from bs4 import BeautifulSoup import os # 本地写入 headers={ 'User-Agent': 'Mozilla/5.0 ...
python爬取小说写入txt_对新笔趣阁小说进行爬取，保存和下载！这就是Python的魅力...
原标题:对新笔趣阁小说进行爬取,保存和下载!这就是Python的魅力以前挺爱在笔趣阁看小说的(老白嫖怪了) 现在学了一点爬虫技术,就自然而然的想到了爬取笔趣阁的小说也算锻炼一下自己的技术,就以新笔 ...
【爬虫】对新笔趣阁小说进行爬取，保存和下载
以前挺爱在笔趣阁看小说的(老白嫖怪了) 现在学了一点爬虫技术,就自然而然的想到了爬取笔趣阁的小说也算锻炼一下自己的技术,就以新笔趣阁开始分析对每一个小说目录界面的url还是很容易得到的如圣墟: ...
1-4 python爬取笔趣阁小说（附带完整代码）
笔趣看是一个盗版小说网站,这里有很多起点中文网的小说,该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度.并且该网站只支持在线浏览,不支持小说打包下载.所以可以通过python爬取文本信息保存, ...
python爬取笔趣阁小说的代码微小调整修改
原文来自: https://blog.csdn.net/u012717715/article/details/92811743 本人说明:其实严格地这不是转载,实际上更应该算是原创!原文代码不能正常 ...
toolkit-frame之toolkit-sprider(数据采集)---笔趣阁小说
采集笔趣阁小说,使用以下几个核心包: requests:2.10.0 beautifulsoup4:4.7.1 其中: 1.BaseFrame.__log__("开始采集中国船舶网的数据.. ...

request+BeautifulSoup:下载《笔趣看》网小说《第九特区》

request+BeautifulSoup:下载《笔趣看》网小说《第九特区》相关推荐

最新文章

热门文章