多进程爬虫（爬取小说）Python实现

区别于之前用多协程写的爬虫版本
多协程爬取小说
这个版本，开销会比较大。效率上也不一定有之前的高
不过，总体上还是很不错的~

问题分析

这个版本，还有之前的版本都一样，还存在问题，就是在下载好了文件之后，我们这里是会先打包成每个章节的小说，再通过一个脚本来，将这些章节整合起来，放到了小说文件中。但是，实际上，这样反反复复地写文件，删除文件，是非常耗时间的。
如果信息，都是直接存在内存当中，再通过这个方式再来直接写入文件，会快很多。
但是这样就涉及到了进程间的通信了。通过这样的方式，完全可以维护一个字典。那样，开启进程的时候，就直接对所有的章节都开启一个进程就好了，对于那个被所有的人都在维护的字典，我们就做一个很简单的关于index的排序，这样就可以直接做到了爬取的提速。

上面的这些，其实在之前的协程中就很想用到了，但是，在协程中，最多监听1200个协程。所以，这个涉及就没有在之前的协程中体现出来。

但是在申请进程的时候，开销太大的了（相比于协程），所以导致了，在这里，用的时间，比之前用协程要慢。但是，可以通过这个方式来提高速度。应该说前景更大吧。总之，这是用多进程写的这个爬虫的第一个版本。后续还会完善。

import requests
import os
import multiprocessing
import random
import re
from lxml import etree
from urllib import parse
import timedef setDir():if 'Noval' not in os.listdir('./'):os.mkdir('./Noval')def getNoval(url, id):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.9','Cookie': '__cfduid=d820fcba1e8cf74caa407d320e0af6b5d1518500755; UM_distinctid=1618db2bfbb140-060057ff473277-4323461-e1000-1618db2bfbc1e4; ctrl_time=1; CNZZDATA1272873873=2070014299-1518497311-https%253A%252F%252Fwww.baidu.com%252F%7C1518507528; yjs_id=69163e1182ffa7d00c30fa85105b2432; jieqiVisitTime=jieqiArticlesearchTime%3D1518509603'}IPs = [{'HTTPS': 'https://115.237.16.200:8118'},{'HTTPS': 'https://42.49.119.10:8118'},{'HTTPS': 'http://60.174.74.40:8118'}]IP = random.choice(IPs)res = requests.get(url, headers=headers, proxies=IP)res.encoding = 'GB18030'html = res.text.replace('&nbsp;', ' ')  # 替换掉这个字符 换成空格~ 意思是一样的page = etree.HTML(html)content = page.xpath('//div[@id="content"]')ps = page.xpath('//div[@class="bookname"]/h1')if len(ps) != 0:s = ps[0].text + '\n's = s + content[0].xpath("string(.)")with open('./Noval/%d.txt' % id, 'w', encoding='gb18030', errors='ignore') as f:f.write(s)def getContentFile(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.9','Cookie': '__cfduid=d820fcba1e8cf74caa407d320e0af6b5d1518500755; UM_distinctid=1618db2bfbb140-060057ff473277-4323461-e1000-1618db2bfbc1e4; ctrl_time=1; CNZZDATA1272873873=2070014299-1518497311-https%253A%252F%252Fwww.baidu.com%252F%7C1518507528; yjs_id=69163e1182ffa7d00c30fa85105b2432; jieqiVisitTime=jieqiArticlesearchTime%3D1518509603'}IPs = [{'HTTPS': 'https://115.237.16.200:8118'},{'HTTPS': 'https://42.49.119.10:8118'},{'HTTPS': 'http://60.174.74.40:8118'}]IP = random.choice(IPs)res = requests.get(url, headers=headers, proxies=IP)res.encoding = 'GB18030'page = etree.HTML(res.text)bookname = page.xpath('//div[@id="info"]/h1')[0].xpath('string(.)')dl = page.xpath('//div[@id="list"]/dl/dd/a')splitHTTP = parse.urlsplit(url)url = splitHTTP.scheme + '://' + splitHTTP.netlocreturn list(map(lambda x: url + x.get('href'), dl)), booknamedef BuildGevent(baseurl):content, bookname = getContentFile(baseurl)  # version2steps = 10beginIndex, length = steps, len(content)count = 0name = "%s.txt" % booknamewhile (count - 1) * steps < length:WaitigList = [multiprocessing.Process(target=getNoval, args=(content[i + count * steps], i + count * steps)) for i in range(steps) ifi + count * steps < length]for p in WaitigList:p.start()for p in WaitigList:p.join()NovalFile = list(filter(lambda x: x[:x.index('.')].isdigit(), os.listdir('./Noval')))NovalFile.sort(key=lambda x: int(re.match('\d+', x).group()))String = ''for dirFile in NovalFile:with open('./Noval/' + dirFile, 'r', encoding='gb18030', errors='ignore') as f:String = String + '\n' + f.read()os.remove('./Noval/%s' % dirFile)if count == 0:with open('./Noval/' + name, 'w', encoding='gb18030', errors='ignore') as ff:ff.write(String)else:with open('./Noval/' + name, 'a', encoding='gb18030', errors='ignore') as ff:ff.write(String)count += 1if __name__ == '__main__':starttime = time.time()setDir()url = 'http://www.biquge.com.tw/6_6107/'BuildGevent(url)endtime = time.time()print("Total use time: %.6f" % (endtime - starttime))

多进程爬虫（爬取小说）Python实现相关推荐

node爬虫爬取小说
node爬虫爬取小说 node爬虫爬取小说直接上代码 node爬虫爬取小说最近发现自己喜欢的一个小说无法下载,网页版广告太多,操作太难受,只能自己写个爬虫把内容爬下来放在阅读器里面看项目下载地址 ...
Python爬虫—爬取小说名著
周末闲来无事,本来想看一看书的,结果也没看进去(RNG输的我真是糟心...) 于是就用python写了一个爬虫,来爬取小说来看,防止下次还要去网上找书看. 我们先找一个看名著的小说网我们打开http ...
python爬虫爬取小说网站并转换为语音文件
前言作为一个技术宅,本着为眼睛着想的角度考虑,能少看屏幕就尽量少看屏幕,可是又是一个小说迷,那就开动脑筋爬一下小说转换成语音来听书吧第一章:爬取小说文件把目标定在小说存储量比较大的网站:起点中文 ...
python爬取晋江小说简介_python爬虫——爬取小说 | 探索白子画和花千骨的爱恨情仇...
知识就像碎布,记得"缝一缝",你才能华丽丽地亮相. 1.Beautiful Soup 1.Beautifulsoup 简介此次实战从网上爬取小说,需要使用到Beautiful S ...
python 爬虫爬取小说信息
1.进入小说主页(以下示例是我在网上随便找的一片小说),获取该小说的名称.作者以及相关描述信息 2.获取该小说的所有章节列表信息(最重要的是每个章节的链接地址href) 3.根据每个章节的地址信息下载 ...
Python爬虫爬取小说
近来闲的无聊,天天逛CSDN看到python多火热多火热,就自己根据教程学习爬虫,参考了好几个博文,忘了地址是啥就不贴出来了开发工具:PcCharm 开发环境:Python3.8 这次爬取的小说网站 ...
关于python爬虫爬取小说
写了一个下载小说的爬虫,具体代码如下: 现在就是有一个问题,如何在不打乱章节顺序的情况下提高爬取的速度呢??? from urllib.parse import quote import reques ...
python 小说cms系统_「博文小说网」Python爬虫爬取小说网站 - seo实验室
博文小说网 #!/usr/bin/env Python # -*- coding: utf-8 -*- # @Author : Woolei # @File : book136_singleproce ...
pyhon3爬虫爬取小说(仅供学习使用。爬虫项目小实践)
此代码实现了通过输入作者名查找小说,列出相似作者的小说,通过用户自行选择小说名下载,亦实现了通过输入小说名字查找小说.相关代码已上传至github:https://github.com/qazhw/p ...
Jsoup爬虫爬取小说
作为练手的项目,本来打算爬取点别的,最后还是去爬取了小说网站...... Jsoup是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过D ...

多进程爬虫（爬取小说）Python实现

问题分析

多进程爬虫（爬取小说）Python实现相关推荐

最新文章

热门文章