最近看了电视剧大江大河电视剧，挺好看的，就在网上找找小说看。

大江大河小说地址：傲宇中文网 http://www.aouchina.com/shu/31369/

直接鼠标右键查看源码

其实原理很简单，在这个网址上点击进入每一章，然后下载里面的内容，例如第一章：第1章 1978年，在这个的href就是相对路径，所以前面加上该网址之后就是 http://www.aouchina.com/shu/31369/15059327.html
进入该网址就是第一章的内容
再次右键查看源码：

找这个div下面的内容就是小说的内容，最后把所有小说内容循环写进txt中。
最后附上py源码

import time
from urllib import request
from bs4 import BeautifulSoup
import re
import sysif __name__ == "__main__":#创建txt文件file = open('大江大河.txt', 'w', encoding='utf-8')#一念永恒小说目录地址target_url = 'http://www.aouchina.com/shu/31369/'head = {}head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'target_req = request.Request(url = target_url, headers = head)target_response = request.urlopen(target_req)target_html = target_response.read().decode('gbk','ignore')listmain_soup = BeautifulSoup(target_html, 'html5lib')print("22222222222"+str(listmain_soup))#找出div标签中class为list的所有子标签chapters = listmain_soup.find_all('div',id = 'list')print("22222222222"+str(chapters))download_soup = BeautifulSoup(str(chapters))#计算章节个数numbers = (len(download_soup.dl.contents) - 1) / 2 - 8index = 1begin_flag = Falsefor child in download_soup.dl.children:if child != '\n':#爬取链接并下载链接内容if child.a != None:download_url = "http://www.aouchina.com" + child.a.get('href')download_req = request.Request(url = download_url, headers = head)download_response = request.urlopen(download_req)download_html = download_response.read().decode('gbk','ignore')download_name = child.stringsoup_texts = BeautifulSoup(download_html)texts = soup_texts.find_all(id = 'content')soup_text = BeautifulSoup(str(texts))write_flag = Truefile.write(download_name + '\n\n')#将爬取内容写入文件for each in soup_text.div.text.replace('\xa0',''):if each == 'h':write_flag = Falseif write_flag == True and each != ' ':file.write(each)if write_flag == True and each == '\r':file.write('\n')print('正在写入第{0}小节'.format(index))index+=1file.write('\n\n')#打印爬取进度sys.stdout.write("已下载:%.3f%%" % float(index/numbers) + '\r')sys.stdout.flush()index += 1file.close()

期间遇到的问题：1 没有安装html5lib

控制台打印的进度和小节有点问题，就懒得改了。

最后附上上述代码运行后爬虫爬下的《大江大河》小说的txt下载路径
复制这段内容后打开百度网盘App，操作更方便哦。链接:https://pan.baidu.com/s/1gYbDpjo4PewdbvAOiQ7vNQ 提取码:edgq

python爬虫-小说《大江大河》相关推荐

python爬虫小说代码示例-中文编程，用python编写小说网站爬虫
原标题:中文编程,用python编写小说网站爬虫作者:乘风龙王原文:https://zhuanlan.zhihu.com/p/51309019 为保持源码格式, 转载时使用了截图. 原文中的源码块 ...
python爬虫小说教程_python制作小说爬虫实录
纪念我的第一个爬虫程序,一共写了三个白天,其中有两个上午没有看,中途遇到了各种奇怪的问题,伴随着他们的解决,对于一些基本的操作也弄清楚了.果然,对于这些东西的最号的学习方式,就是在使用中学习,通过解决 ...
python爬虫小说代码示例-Python从零开始写爬虫-4 解析HTML获取小说正文
Python从零开始写爬虫-4 解析HTML获取小说正文在上一节中, 我们已经学会如何获取小说的目录, 这一节我们将学习如何通过正则表达式(在第二节学习过)来获取小说正文. 首先, 先随便选择一个章 ...
python爬虫小说下载到txt文档_python 爬取网络小说清洗并下载至txt文件
什么是爬虫网络爬虫,也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人.其目的一般为编纂网络索引. 网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引.网络爬虫可以 ...
python 爬虫小说使用无头浏览器 + 自动化爬虫
仅供学习,请勿商业行为!,未经允许请勿转载获取到搜索接口和请求方法和请求参数当前是post 方法请求参数为获取对应小说的详情介绍页对应类.对应浏览器驱动获取方法 python s ...
python爬虫小说系统_python3小说爬虫
作为一个很喜欢看书的人,有时候在网页上看小说,会被数不胜数的广告弄的很烦,刚好最近在研究python,就自己写了一个小说爬虫,并用pyqt做了图形界面. 下面介绍一下主要思路,不过就不开源了,因为我的 ...
python爬虫--小说爬取
requests+bs4模块–简单爬虫实例–小说爬取文章目录 section1:声明 section2:想法 section3:下载链接分析: section4:代码编写 1.导包 2.构建请求头 ...
python爬虫小说下载异步
看别人用异步请求快的飞起, 忍不住手痒尝试了下, 但过程并不美好, 一不小心就是满屏的"红色警告" 不过成功的喜悦总是让人陶醉的, 这也是学习的魅力吧先看下运行过程需要插入一个 ...
python爬虫小说代码示例-使用简单Python爬虫获取一个干净整洁的小说文件
打开小说所在界面,右击选择查看网页源代码 1.在头部能够看到'charset=utf-8'得知文件的编码为'uft-8'!,url=http://www.17k.com/list/2921315.ht ...

python爬虫-小说《大江大河》

python爬虫-小说《大江大河》

最近看了电视剧大江大河电视剧，挺好看的，就在网上找找小说看。

python爬虫-小说《大江大河》相关推荐

最新文章

热门文章