python爬虫网络中断_python爬虫项目设置一个中断重连的程序的实现
做爬虫项目时,我们需要考虑一个爬虫在爬取时会遇到各种情况(网站验证,ip封禁),导致爬虫程序中断,这时我们已经爬取过一些数据,再次爬取时这些数据就可以忽略,所以我们需要在爬虫项目中设置一个中断重连的功能,使其在重新运行时从之前断掉的位置重新爬取数据。
实现该功能有很多种做法,我自己就有好几种思路,但是真要自己写出来就要费很大的功夫,下面我就把自己好不容易拼凑出来的代码展示出来吧。
首先是来介绍代码的思路:
将要爬取的网站连接存在一个数组new_urls中,爬取一个网址就将它移入另一个数组old_urls中,爬取网站时,就看它是在哪一个数组中,然后再决定要不要爬取。
下面展示代码(从别处抄的):
class UrlManager(object):
def __init__(self): #定义两个数组
self.new_urls=set()
self.old_urls=set()
def add_new_url(self, url): #将一个url加入到new_urls数组中
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def add_new_urls(self, urls): #将多个url加入到new_urls数组中
if urls is None or len(urls)==0:
return
for url in urls :
self.add_new_url(url)
def has_new_url(self): #判断url是否为空
return len(self.new_urls)!=0
def get_new_url(self):
#list.pop()默认移除列表中最后一个元素对象
new_url=self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
这个类实现了中断重连的基本功能,但是当我们要爬取的网址非常的,那这就对我们电脑的内存要求非常大,所以我们要将数组保存到文档中,增加一个从文档中提取网址的过程。
下面看代码:
class UrlManager(object):
def __init__(self): #建立两个数组的文件
with open('new_urls.txt','r+') as new_urls:
self.new_urls = new_urls.read()
with open('old_urls.txt','r+') as old_urls:
self.old_urls = old_urls.read()
def add_new_url(self, url): #添加url到new_ulrs文件中
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
with open('new_urls.txt', 'a') as new_urls:
new_urls.write(url)
else:
print('url had done')
def add_new_urls(self, urls): #添加多个url到new_ulrs文件中
# if urls is None or (len(url) == 0 for url in urls):
if urls is None:
print('url is none')
return
for url in urls:
if urls is None:
print('url is none')
return
else:
self.add_new_url(url)
def has_new_url(self):
return len(self.new_urls) != 0
def get_new_url(self):
new_url = get_last_line('new_urls.txt') #读取new_urls文件中最后一个url
del_last_url('new_urls.txt',new_url) #删除new_urls文件中最后一个url
add_old_urls('old_urls.txt',new_url) #将读取出来的url添加入old_urls数组中
return new_url
其中的get_last_line()函数有些复杂,这也是我卡时间最长的一块,
import os
def get_last_line(inputfile):
filesize = os.path.getsize(inputfile)
blocksize = 1024
dat_file = open(inputfile, 'rb')
last_line = b""
lines = []
if filesize > blocksize:
maxseekpoint = (filesize // blocksize) # 这里的除法取的是floor
maxseekpoint -= 1
dat_file.seek(maxseekpoint * blocksize)
lines = dat_file.readlines()
while ((len(lines) < 2) | ((len(lines) >= 2) & (lines[1] == b'\r\n'))): # 因为在Windows下,所以是b'\r\n'
# 如果列表长度小于2,或者虽然长度大于等于2,但第二个元素却还是空行
# 如果跳出循环,那么lines长度大于等于2,且第二个元素肯定是完整的行
maxseekpoint -= 1
dat_file.seek(maxseekpoint * blocksize)
lines = dat_file.readlines()
elif filesize: # 文件大小不为空
dat_file.seek(0, 0)
lines = dat_file.readlines()
if lines: # 列表不为空
for i in range(len(lines) - 1, -1, -1):
last_line = lines[i].strip()
if (last_line != b''):
break # 已经找到最后一个不是空行的
dat_file.close()
return last_line
def del_last_url(fname,part):
with open(fname,'rb+') as f:
a = f.read()
a = a.replace(part,b'')
with open(fname,'wb+') as f:
f.write(a)
def add_old_urls(fname,new_url):
line = new_url + b'\r'
with open(fname,'ab') as f:
f.write(line)
好了,爬虫的中断重连的功能就实现了,下面要做的就是将该功能接入爬虫项目中,比较简单。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
python爬虫网络中断_python爬虫项目设置一个中断重连的程序的实现相关推荐
- python爬虫开发环境_python爬虫开发教程下载|Python爬虫开发与项目实战(范传辉 著)pdf 完整版_ - 极光下载站...
Python爬虫开发与项目实战pdf扫描版下载.Python爬虫开发是一个Pthyon编程语言与HTML基础知识引领读者入门知识,重点讲述了云计算的相关内容及其在爬虫中的应用,进而介绍如何设计自己的爬 ...
- python爬虫的用途_python爬虫用途
广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 专业点来说就是应用多台机器同时实现爬虫任务,这多台机器上的爬虫,就是称作分布式爬 ...
- python基金预测分析_Python爬虫抓取基金数据分析、预测系统设计与实现
版权声明:本文为博主原创文章,如果转载请给出原文链接:http://doofuu.com/article/4156231.html 目前在开发一款基于Python的基金爬取.分析.预测系统,目前已经开 ...
- python爬虫面试问题_Python爬虫面试总结
## Python爬虫面试总结 1. 写一个邮箱地址的正则表达式? [A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$ 2. 谈 ...
- origin和python有什么不同_python爬虫之git的使用(origin说明)
1.首先我们回忆两个命令 #git remote add origin 远程仓库链接 #git push -u origin master 我们一起看看这个命令,git是git的一级命令,push就是 ...
- python爬虫超时重试_python爬虫怎么处理异常和超时?
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 写代码总是会出异常的,尤其是爬虫这类程序,无法确保每次请求都能稳定地返回统一的结果,比如反爬虫策略提升.代理IP超时.程序异常等等,处理好这些问题,才能保 ...
- python爬虫防屏蔽_python爬虫程序如何预防被限制
有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问,所以为了要让程序可以正常运行,需要隐藏自己的爬虫程序的身份.此时,我们就可以通过设置Use ...
- python获取网站代码_python爬虫1——获取网站源代码(豆瓣图书top250信息)
# -*- coding: utf-8 -*- import requests import re import sys reload(sys) sys.setdefaultencoding('utf ...
- python爬虫文献综述_Python爬虫入门(1):综述
首先爬虫是什么?网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 根据我的经验,要学习Python爬虫, ...
最新文章
- laravel框架的基础学习路线(不带composer的)
- 洛谷 题解 P2312 【解方程】
- 太牛了,原来古人是这样铸造钱币的。。。
- 计算机网络学习笔记(四)——差错控制、停等协议、回退N帧、选择性重传、滑动窗口、数据链路层HDLC、PPP协议、有限状态机
- 二维码软件如何扫描二维码打开网页
- 实验室虚拟仿真建设之技术选型剖析
- photoshop cc 2017 mac 破解版
- PAT乙级 1072 开学寄语
- 浙江大学软件学院2020年保研真题Distance of Triples (25 分)
- 6 款代码对比工具,你知道几个?
- 阿里云2023届实习生招聘启动啦,快来加入IoT安全吧
- AIMLDL概念解释
- 【微软chatGPT版bing上线了,使用体验如何,符合你的需求吗?】
- 按位与,按位或和按位异或是否都满足交换律和结合律?
- C语言从键盘获取一个小于1000的正数,要求输出它的平方根。
- Spark零基础入门实战(一)Scala安装
- matlab如何删除打开记录,matlab清除命令窗口时,如何显示确认删除的对话框?
- 需求调研-如何做好业务调研工作
- PPT去掉图片白色背景
- 机器视觉实用工具集NO.6——图像变换应用,利用apriltag二维码+透视变换实现水平面相机像素/世界坐标转换
热门文章
- Oracle表重命名后索引、约束、权限、同义词的影响
- oracle dbv 离线,bbed和dbv检查数据文件结果不一致?
- delphi 发送网络消息_Actor 消息的可靠交付(Akka Typed)
- 多个pdf合并成一个pdf_手机里多个PDF合并成一个PDF的免费方法
- mysql随机显示记录_mysql随机提取记录数的方法
- 利用jasperreports报表生成pdf文档中文不能显示问题解决方法
- Spring Boot之发送HTTP请求(RestTemplate详解)
- Java 内存溢出(java.lang.OutOfMemoryError)解决
- python开发面向对象基础:封装
- scrapy 伪装代理和fake_userAgent的使用