python encoding报错_python用requests递归查询页面报错 ChunkedEncodingError

我想用递归的方式查询一个网页下面的所有后续页面 /index.php /index_2.php 这样。

pages = set()

def searchAllPages(url, name):

'''获得所有页面链接'''

global pages

ObjUrl = BaseUrl + url

regular_str = r"\/%s\/index_*[0-9]*\.php" % name

time.sleep(1)

try:

r = requests.get(ObjUrl)

except (requests.ConnectionError, requests.HTTPError) as e:

return

else:

bsObj = BeautifulSoup(r.text,'lxml')

links = bsObj.find_all('a', href=re.compile(regular_str))

links = [i.attrs['href'] for i in links]

for link in links:

if link not in pages:

# 新页面

pages.add(link)

searchAllPages(link, name)

运行后报错提示

equests.exceptions.ChunkedEncodingError: ("Connection broken: ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)", ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

请问这个问题是如何引起的？

我该如何解决？

已经在多处搜索这个问题的原因。始终没找到符合我的答案。

但不是每次都失败的样子。。

找到一个比较符合我想法的答案，就是可能我的访问量和速度太频繁，被对面认为是攻击而关闭。

请问还有没其他更合理的解释？

python encoding报错_python用requests递归查询页面报错 ChunkedEncodingError相关推荐

python导入requests库一直报错原因总结_python导入requests库一直报错原因总结（文件名与库名冲突）...
花了好长时间一直在搞这个源代码: 一直报如下错误: 分析原因: 总以为没有导入requests库,一直在网上搜索各种的导入库方法(下载第三方的requests库,用各种命令工具安装),还是报错后来 ...
python requests 10041报错_Python：requests高级_模拟登陆
# 超级鹰的示范代码 #!/usr/bin/env python # coding:utf-8 import requests from hashlib import md5 class Chaoji ...
python response.json()报错_python:解析requests返回的response(json格式)说明
我就废话不多说了,大家还是直接看代码吧! import requests, json r = requests.get('http://192.168.207.160:9000/api/quality ...
python导入模块报错_Python 导入上层目录模块报错
背景: 当前demo.py 文件,所处目录 D:\py\test\TestCase,需要调用test 目录下的模块,尝试了新建__init__.py 文件+ import test.模块名的方法,无 ...
len函数python返回值类型_python的len函数为什么报错
len函数返回序列类型对象(字符或字符串.元组.列表和字典等)的项目个数(长度). 语法len(object) 函数返回一个大于0的int型整数,表示对象的项目个数. 参数说明举例 1. 当参数是序 ...
python nonetype报错_python 查询数据库数据 NoneType报错
python调试mysql数据库时,在测试单条查询语句的时候是没有问题的. 执行过程如下: 1.由连接对象conn获取到一个cursor. cur = conn.cursor() 2.执行sql语句. ...
python中matplotlib出错_Python中使用matplotlib的报错问题
引用了别人的python代码,其中有一行是 import matplotlib.pyplot as plt 结果运行时提示: File "get.py", line 14, in ...
python elif报错_python中的elif语句报错是什么原因
else和elif语句也可以叫做子句,因为它们不能独立使用,两者都是出现在if.for.while语句内部的.else子句可以增加一种选择:而elif子句则是需要检查更多条件时会被使用,与if和els ...
python使用代理爬虫_python爬虫requests使用代理ip
python爬虫requests使用代理ip 一.总结一句话总结: a.请求时,先将请求发给代理服务器,代理服务器请求目标服务器,然后目标服务器将数据传给代理服务器,代理服务器再将数据给爬虫. b. ...

python encoding报错_python用requests递归查询页面报错 ChunkedEncodingError

python encoding报错_python用requests递归查询页面报错 ChunkedEncodingError相关推荐

最新文章

热门文章

python encoding报错_python用requests递归查询页面 报错 ChunkedEncodingError

python encoding报错_python用requests递归查询页面 报错 ChunkedEncodingError相关推荐

最新文章

热门文章

python encoding报错_python用requests递归查询页面报错 ChunkedEncodingError

python encoding报错_python用requests递归查询页面报错 ChunkedEncodingError相关推荐