Python爬虫实战 | 抓取小说网完结小说斗罗大陆

储备知识应有：Python语言程序设计
Python网络爬虫与信息提取
两门课程都是中国大学MOOC的精彩课程，特别推荐初学者。环境Python3
本文整体思路是：1.获取小说目录页面，解析目录页面，得到所有章节链接存储在一个二维列表中。对应函数 allurl(urldir,html)
2.每次解析一章节，然后保存在文件中。对应函数 fillFile(urldir, file)

# 下载斗罗大陆
import bs4, lxml, traceback
from bs4 import BeautifulSoup
import requests#爬取网页信息
def getHtmlText(url):try:# 设置代理 获取网页header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}r=requests.get(url, headers= header)# 判断返回状态r.raise_for_status()# 设置编码r.encoding=r.apparent_encoding# 返回网页内容return r.textexcept:return "获取网页信息失败"#解读网页信息
def fillFile(urldir, file):# 总章节数numbers = len(urldir)# 当前处理的章节数index = 1# 对二维列表进行解析for i in range(numbers):# 处理一维列表child = urldir[i]text = getHtmlText(child[1])# 煲汤，解析网页信息soup = BeautifulSoup(text, 'lxml')# 获取标题title = child[0]# 捕获出现的异常try:# 获取内容content = soup.select('#content')[0].text.replace('<br/><br/>', '').strip('style56(); ')both = title + '\n' + content + '\n'file.write(both)except IndexError:print(title +  '出现列表索引异常----------------')print(traceback.print_exc())except:print(title + ' 出现异常')# 打印具体的异常信息print(traceback.print_exc())print('\r{}当前已下载：{:.3f}%'.format(title,index / numbers * 100))index += 1# 解读目录信息，获取所有章节url
def allurl(urldir,html):# 煲汤，解析目录信息soup = BeautifulSoup(html,'html.parser')# 查找目录信息位置allurl = soup.find_all('div', class_="clearfix dirconone")[0]# 下行遍历获取所有的章节信息 保存在二维列表中for li in allurl.children:# 是否是标签对象if isinstance(li, bs4.element.Tag):# 读取a标签lis = li.a# 在字典类型中获取标题和链接name,link = lis.attrs['title'].split(sep='，共')[0], lis.attrs['href']urldir.append([name, link])
def main():# 小说目录地址url = 'http://www.quanshuwang.com/book/44/44683'# 存储所有的章节链接uinfo = []# txt文件file = open('D:斗罗大陆.txt', 'w', encoding='utf-8')# 获取网页内容html = getHtmlText(url)# 将所有目录url放入uinfoallurl(uinfo, html)# 将每一章解析到txt文件中fillFile(uinfo, file)# 关闭文件file.close()
main()

Python爬虫实战 | 抓取小说网完结小说斗罗大陆相关推荐

Python爬虫实战---抓取图书馆借阅信息
Python爬虫实战---抓取图书馆借阅信息原创作品,引用请表明出处:Python爬虫实战---抓取图书馆借阅信息前段时间在图书馆借了很多书,借得多了就容易忘记每本书的应还日期,老是担心自己会违约 ...
python爬虫招聘-Python爬虫实战-抓取boss直聘招聘信息
实战内容:爬取boss直聘的岗位信息,存储在数据库,最后通过可视化展示出来 PS注意:很多人学Python过程中会遇到各种烦恼问题,没有人帮答疑容易放弃.为此小编建了个Python全栈免费答疑.裙 : ...
python 爬虫实战抓取学校bbs相关板块的发帖信息
1. 前言之前也因为感兴趣, 写过一个抓取桌面天空里面喜欢的动漫壁纸的爬虫代码.这两天突然看到有人写了这么一篇文章: 爬取京东本周热卖商品基本信息存入MySQL 觉得蛮有趣的, 正好临近找工作的季节 ...
python爬虫实战-抓取同花顺股票信息
前言: 在之前介绍requests的基础上,现在开始进行实战. 目标网站:http://q.10jqka.com.cn//index/index/board/all/field/zdf/order/d ...
【第4篇】Python爬虫实战-抓取B站弹幕视频
目录 1.获取视频cid参数 2.程序源代码 3.程序运行结果 4.总结 1.获取视频cid参数首先我们打开一个有弹幕的B站视频,比如:<我好像在哪见过你>人们把难言的爱都埋入土壤里_哔 ...
python爬虫实战1-获取当当网近30日好评榜前500本书籍
1.首先打开当当网,点击好评榜,选择近30日,此时浏览器中的URL复制一下,备用 http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00- ...
Python爬虫实战抓取十一旅游最优惠的机票！
目的获取去哪儿默认页面的机票航班信息详细需求目标URL:https://m.flight.qunar.com/h5/flight/ 源码实现 #!/usr/bin/env python # -* ...
python爬取boss直聘招聘信息_Python爬虫实战-抓取boss直聘招聘信息
Python Python开发 Python语言 Python爬虫实战-抓取boss直聘招聘信息实战内容:爬取boss直聘的岗位信息,存储在数据库,最后通过可视化展示出来 PS注意:很多人学Pyth ...
python抓取视频违法吗,科学网—【python爬虫】抓取B站视频相关信息（一） - 管金昱的博文...
昨天我在B站上写了这么一篇文章,但是被他们锁住了.无奈之下我复制到知乎上先保存起来在这篇名为<三天学会用python进行简单地爬取B站网页视频数据>文章中我主要提到了两点在已知aid的情 ...

Python爬虫实战 | 抓取小说网完结小说斗罗大陆

Python爬虫实战 | 抓取小说网完结小说斗罗大陆相关推荐

最新文章

热门文章