Crawler：利用Beautifulsoup库+find_all方法实现下载在线书架小说《星祖的电影世界》

输出结果

核心代码

输出结果

核心代码

# -*- coding: utf-8 -*-
'''
Created on 2018年4月7日@author: niu
'''
#Py之Crawler：利用beautifulsoup+find_all方法实现下载在线书架小说《星祖的电影世界》
#find_all方法的第一个参数是获取的标签名，第二个参数class_是标签的属性。from bs4 import BeautifulSoup
import requests, sysclass downloader(object):def __init__(self):self.server = 'http://www.biqukan.com/'self.target = 'http://www.biqukan.com/50_50927/'self.names = []            #存放章节名self.urls = []            #存放章节链接self.nums = 0            #章节数def get_download_url(self): #获取下载链接req = requests.get(url = self.target)html = req.textdiv_bf = BeautifulSoup(html)  #利用beautifulsoup提取内容div = div_bf.find_all('div', class_ = 'listmain') #通过审查元素发现全书各个章节存放在了class属性为listmain的div标签下，各章之间差别就在于这些章节的【href】属性不一样，而且其属性正好对应着每一章节URL后半部分，那这样，我们就可以根据标签的href属性值获得每个章节的链接和名称了。a_bf = BeautifulSoup(str(div[0]))a = a_bf.find_all('a')  self.nums = len(a[14:])      #剔除不必要的章节，并统计章节数for each in a[14:]:self.names.append(each.string)self.urls.append(self.server + each.get('href')) #再接着提取章节名和章节文章def get_contents(self, target): #获取章节内容，target下载连接(string)，texts章节内容(string)req = requests.get(url = target)html = req.textbf = BeautifulSoup(html)texts = bf.find_all('div', class_ = 'showtxt') #观察不同标签发现class属性为showtxt的div标签只有一个！这个标签里面存放的内容，是我们需要的小说正文texts = texts[0].text.replace('\xa0'*8,'\n\n')  #replace方法，剔除空格，替换为回车进行分段。 在html中是用来表示空格的。replace(‘\xa0’*8,’\n\n’)就是去掉下图的八个空格符号，并用回车代替return textsdef writer(self, name, path, text): #将爬取的文章内容写入文件write_flag = Truewith open(path, 'a', encoding='utf-8') as f: #当前路径下,小说保存名称(string)f.write(name + '\n')  #章节名称(string)f.writelines(text)  #章节内容(string)f.write('\n\n')
if __name__ == "__main__":dl = downloader()dl.get_download_url()print('《星祖的电影世界》开始下载：')for i in range(dl.nums):dl.writer(dl.names[i], '星祖的电影世界.txt', dl.get_contents(dl.urls[i]))sys.stdout.write("  已下载:%.3f%%" %  float(i/dl.nums) + '\r')sys.stdout.flush()print('《星祖的电影世界》下载完成')

Crawler：利用Beautifulsoup库+find_all方法实现下载在线书架小说《星祖的电影世界》相关推荐

Keil安装stm库文件方法及下载地址
Keil安装stm库文件方法及下载地址 STM对应芯片库下载地址官网下载靠谱 STM对应芯片库下载地址在下载的时候需要去ARM,keil的官网进行下载,不用去找其他的博客链接,这个是官方网址, h ...
python库安装方法及下载依赖库
python库的安装方法直接使用pip pip install xxx python第三方下载,可以在地址栏上输入所需库的名字,进行快速查找源码安装 python setup.py install ...
Python 爬虫篇-利用BeautifulSoup库爬取墨迹天气网的天气信息实例演示，调用墨迹天气api接口获取空气质量
安装方法: pip install BeautifulSoup4 BeautifulSoup 详细使用文档墨迹天气抓取演示墨迹天气没有提供专门的天气接口 api,但我们可以用 BeautifulS ...
Python 爬虫进阶篇-利用beautifulsoup库爬取网页文章内容实战演示
我们以 fox新闻网的文章来举例子,把整篇文章爬取出来. 首先是标题,通过结构可以看出来 class 为 article-header 的节点下的 h1 里的内容即是标题,通过 string 可以获 ...
python 网站爬虫下载在线盗墓笔记小说到本地的脚本
最近闲着没事想看小说,找到一个全是南派三叔的小说的网站,决定都下载下来看看,于是动手,在很多QQ群里高手的帮助下(本人正则表达式很烂,程序复杂的正则都是一些高手指导的),花了三四天写了一个脚本需要 ...
python下载到本地的script_python 站点爬虫下载在线盗墓笔记小说到本地的脚本
近期闲着没事想看小说,找到一个全是南派三叔的小说的站点,决定都下载下来看看,于是动手,在非常多QQ群里高手的帮助下(本人正則表達式非常烂.程序复杂的正则都是一些高手指导的),花了三四天写了一个脚本须 ...
Crawler：基于BeautifulSoup库+requests库实现爬取2018最新电影《后来的我们》热门短评
Crawler:基于BeautifulSoup库+requests库实现爬取2018最新电影<后来的我们>热门短评目录输出结果实现代码输出结果实现代码 # -*- coding: ...
利用Python中的BeautifulSoup库爬取安居客第一页信息
题目: 网址为https://beijing.anjuke.com/sale/, 利用BeautifulSoup库,爬取第1页的信息,具体信息如下:进入每个房源的页面,爬取小区名称.参考预算.发布时间 ...
利用Python中的BeautifulSoup库爬取豆瓣读书中书本信息
利用BeautifulSoup库,获取前250本图书的信息,需要爬取的信息包括书名.书名的URL链接.作者.出版社和出版时间.书本价格.评分和评论,把这些信息存到txt文件,要求将这些信息对齐,排列整 ...

Crawler：利用Beautifulsoup库+find_all方法实现下载在线书架小说《星祖的电影世界》

输出结果

核心代码

Crawler：利用Beautifulsoup库+find_all方法实现下载在线书架小说《星祖的电影世界》相关推荐

最新文章

热门文章