爬取小说2--协程间通信Python

通过Python进行协程间通信，大大加速爬取效率。

前言

是这样的，在之前的爬虫版本中，我们通过并发技术（python协程只是并发）。实现快速爬取小说的效果。
将速度提高为原来的几百倍了。但是却由于之前的多协程之间的通信，都是采用写入硬盘之后，再相互通信来实现的，所以，速度上还是存在一定的缺陷。

最新

在最新的版本中，我们采用多协程技术，采用在内存通信，这样来传递爬取的数据，之后，再来组合成为新的章节，这样就可以做到了对于之前版本的提速效果。而且需要代码量也下降了10行左右。

还是跟之前的版本一样目标小说网站只能是http://www.biquge.com.tw/这个网站下的小说的目录页

只要把目录页对应的小说的网址丢到main函数中的url里面，就可以实现了小说爬取。

小调整tips:
当然啦，根据自己的需求，可以试试看改改BuildGevent函数的step变量。这个表示每次发多少个协程。注意，最多是1200个。
这个设置，可以自己考虑，根据不同的设备情况，网络效果，对方服务器的稳定程度来进行判断。

import requests
import os
import gevent
from gevent import monkey
import random
import re
from lxml import etree
monkey.patch_all(select=False)
from urllib import parse
import timeIPs = [{'HTTPS': 'HTTPS://182.114.221.180:61202'},{'HTTPS': 'HTTPS://60.162.73.45:61202'},{'HTTPS': 'HTTPS://113.13.36.227:61202'},{'HTTPS': 'HTTPS://1.197.88.101:61202'}]
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.9','Cookie': '__cfduid=d820fcba1e8cf74caa407d320e0af6b5d1518500755; UM_distinctid=1618db2bfbb140-060057ff473277-4323461-e1000-1618db2bfbc1e4; CNZZDATA1272873873=2070014299-1518497311-https%253A%252F%252Fwww.baidu.com%252F%7C1520689081; yjs_id=5a4200a91c8aa5629ae0651227ea7fa2; ctrl_time=1; jieqiVisitTime=jieqiArticlesearchTime%3D1520693103'
}def setDir():if 'Noval' not in os.listdir('./'):os.mkdir('./Noval')def getNoval(url, id, data):while True:try:headers = HEADERSIP = random.choice(IPs)res = requests.get(url, headers=headers, proxies=IP)res.encoding = 'GB18030'html = res.text.replace('&nbsp;', ' ')  # 替换掉这个字符 换成空格~ 意思是一样的page = etree.HTML(html)content = page.xpath('//div[@id="content"]')ps = page.xpath('//div[@class="bookname"]/h1')if len(ps) != 0:s = ps[0].text + '\n's = s + content[0].xpath("string(.)")data[id] = sexcept Exception:continueelse:breakdef getContentFile(url):headers = HEADERSIP = random.choice(IPs)res = requests.get(url, headers=headers, proxies=IP)res.encoding = 'GB18030'page = etree.HTML(res.text)bookname = page.xpath('//div[@id="info"]/h1')[0].xpath('string(.)')dl = page.xpath('//div[@id="list"]/dl/dd/a')splitHTTP = parse.urlsplit(url)url = splitHTTP.scheme + '://' + splitHTTP.netlocreturn list(map(lambda x: url + x.get('href'), dl)), booknamedef BuildGevent(baseurl):content, bookname = getContentFile(baseurl)  # version2steps = 500beginIndex, length = steps, len(content)count = 0name = "%s.txt" % booknamewhile (count - 1) * steps < length:data = {}WaitigList = [gevent.spawn(getNoval, content[i + count * steps], i + count * steps, data) for i in range(steps) ifi + count * steps < length]gevent.joinall(WaitigList)String = '\n'.join(data.values())if count == 0:with open('./Noval/' + name, 'w', encoding='gb18030', errors='ignore') as ff:ff.write(String)else:with open('./Noval/' + name, 'a', encoding='gb18030', errors='ignore') as ff:ff.write(String)count += 1if __name__ == '__main__':starttime = time.time()setDir()# url = 'http://www.biquge.com.tw/2_2826/'url = 'http://www.biquge.com.tw/14_14969/'BuildGevent(url)endtime = time.time()print("Total use time: %.6f" % (endtime - starttime))

爬取小说2--协程间通信Python相关推荐

Go中协程间通信的方式Sync.Cond
在Go中协程间通信的方式有多种,最常用的是channel.如果牵扯多个协程的通知,可以使用sync.Cond. 1. 程序中的通信方式 GO语言中有句名言:"不要用共享内存来通信,而是使用通 ...
关于gevent的协程间通信及队列和事件event用法
前言: 今天就写点gevent的高级点的用法,对于我来说这些也是常用的gevent模块. gevent的AsyncResutl模块的用途,看字眼的意思是一个异步的任务的结果. 其实官方的说法也让人有 ...
python爬取小说写入txt_燎原博客—python爬取网络小说存储为TXT的网页爬虫源代码实例...
python是一门优秀的计算机编程语言,两年前曾因为动过自动化交易的念头而关注过它.前几天在微信上点了个python教学的广告,听了两堂课,所以现在又热心了起来,照葫芦画瓢写了一段简单的网络爬虫代码, ...
异步爬虫（爬取小说30秒12MB！）Python实现
注意,修改下面代码目前只能爬取http://www.biquge.com.tw/这个小说网站上的小说,只要是这个网站上的小说就是可以被直接拿下来的. 之前,我们爬取的小说,虽然说爬取15MB大小的小 ...
python爬取小说代码bs4和_使用python爬虫，requests(夹带BeautifulSoup的使用)爬取网络小说...
由于本人也是初学者,算是小白一枚,这里跟大家分享一下爬取网站上的小说的过程. 第一步我们需要导入我们需要的模块,比如requests,BeautifulSoup,还有正则模块re. 代码如下:impo ...
python爬取小说出现乱码_详解Python解决抓取内容乱码问题（decode和encode解码）
一.乱码问题描述经常在爬虫或者一些操作的时候,经常会出现中文乱码等问题,如下原因是源网页编码和爬取下来后的编码格式不一致二.利用encode与decode解决乱码问题字符串在Python内部的 ...
python爬取小说写入txt_零基础写python爬虫之抓取百度贴吧并存储到本地txt文件改进版...
百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同,都是通过查看源码扣出关键数据,然后将其存储到本地txt文件. 项目内容: 用Python写的百度贴吧的网络爬虫. 使用方法: 新建一个BugBaidu. ...
python爬虫--一次爬取小说的尝试
一次爬取小说的尝试 1 #!/usr/bin/python 2 # -*- coding:utf-8 -*- 3 import requests 4 from bs4 import Beautiful ...
多进程爬虫（爬取小说）Python实现
区别于之前用多协程写的爬虫版本多协程爬取小说这个版本,开销会比较大.效率上也不一定有之前的高不过,总体上还是很不错的~ 问题分析这个版本,还有之前的版本都一样,还存在问题,就是在下载好了文件之 ...

爬取小说2--协程间通信Python

前言

最新

爬取小说2--协程间通信Python相关推荐

最新文章

热门文章