我有一个脚本爬行一个网站。

直到今天一切都很完美,

但是现在它没有这样做。

它会给sme以下错误:Connection Aborted Error(10060 ' A connection attempt failed becvause the connected party did not properly respond after a period of time, or established a connection failed because connected host has failed to respond'

我一直在寻找答案和设置,但我不知道如何解决这个。。。

在IE中,我不使用任何代理(连接->Lan设置->代理=禁用)

它在这段代码中被破坏了,有的是第一次运行,有的是第二次运行。。等等def geturls(functionurl, runtime):

startCrawl = requests.get(functionurl, headers=headers)

mainHtml = BeautifulSoup(startCrawl.content, 'html.parser')

mainItems = mainHtml.find("div",{"id": "js_multiselect_results"})

for tag in mainItems.findAll('a', href=True):

tag['href'] = urlparse.urljoin(url,tag['href'])

if shorturl in tag['href'] and tag['href'] not in visited:

if any(x in tag['href'] for x in keepout):

falseurls.append(tag['href'])

elif tag['href'] in urls:

doubleurls.append(tag['href'])

else:

urlfile.write(tag['href'] + "\n")

urls.append(tag['href'])

totalItemsStart = str(mainHtml.find("span",{"id": "sab_header_results_size"}))

if runtime == 1:

totalnumberofitems[0] = totalItemsStart

totalnumberofitems[0] = strip_tags(totalnumberofitems[0])

return totalnumberofitems

我该怎么解决?

python api接口10060_Python请求错误10060相关推荐

  1. python api接口10060_Python web抓取[错误10060]

    我正在努力获取我的代码,从web上获取HTML表信息,以便在保存的网站列表中工作发货URL.txt文件.代码从ShipURL读取网页地址,然后转到链接并下载表数据并将其保存到csv.但我的问题是程序无 ...

  2. 初识Django —Python API接口编程入门

    初识Django -Python API接口编程入门 一.WEB架构的简单介绍 Django是什么? Django是一个开放源代码的Web应用框架,由Python写成.我们的目标是用Python语言, ...

  3. vue请求拦截 给所有的api接口的请求 params 带上一个存储的值及qs的安装

    vue请求拦截 给所有的api接口的请求 params 带上一个存储的值: Vue.prototype.$http = axios; // 设置请求拦截器,为请求对象添加token,这是后续权限api ...

  4. [js] 一个api接口从请求数据到请求结束共与服务器进行了几次交互?

    [js] 一个api接口从请求数据到请求结束共与服务器进行了几次交互? API是一些预先定义的函数,或指软件系统不同组成部分衔接的约定.如果已经建立了连接,那么单次请求数据到请求结束应该是一次交互:如 ...

  5. python 嵌入式数据库_Pysqlite下载 Pysqlite for Windows v2.6.3(嵌入式数据库python api 接口) 下载-脚本之家...

    Pysqlite是针对Windows用户设计的一款Python API接口,安装之后就可以进行数据库的连接.创建和管理,可以将sqlit的操作变得简单起来,详细的操作方法参见下文,需要的朋友赶快下载吧 ...

  6. php 查询域名被注册,查询域名是否被注册 API 接口调用请求

    原标题:查询域名是否被注册 API 接口调用请求 查询域名是否被注册 API 接口在网上已经很多且大都封装成了 API 供别人调用,以GET/POST方式提交即可.查询域名是否被注册 API 接口可以 ...

  7. python api接口 安全_App开放接口api安全性的设计与实现

    前言 在app开放接口api的设计中,避免不了的就是安全性问题,因为大多数接口涉及到用户的个人信息以及一些敏感的数据,所以对这些接口需要进行身份的认证, 那么这就需要用户提供一些信息,比如用户名密码等 ...

  8. python api接口生成_Django 自动生成api接口文档教程

    最近在写测试平台,需要实现一个节点服务器的api,正好在用django,准备使用djangorestframework插件实现. 需求 实现一个接口,在调用时,通过传递的参数,直接运行对应项目的自动化 ...

  9. python api接口调用_python 调用有道api接口的方法

    初学者学习python,研究了几天之后,我写了一个python程序调用有道api接口.效果如下图所示:声明:代码仅仅是像我这样的初学者学习和交流.应用程序非常简单.PS:评审不需要时间,请不要滥用!! ...

最新文章

  1. GeoQuiz项目的开发与总结2
  2. Spring JDBC-Spring事务管理之ThreadLocal基础知识
  3. 北京大学 微软:预训练模型(Transformer)中的知识神经元
  4. Java技术分享:升级所安装Java版本的两种方式
  5. jvm内存收集器总结(图片)
  6. 玩转oracle 11g(25):手工删除oracle归档日志后操作步骤 和修改用户默认解锁时间
  7. IDEA之Initialization failed for ‘http://start.spring.io‘ Please check URL, network and proxy settings
  8. CodeForces1005D - Polycarp and Div 3
  9. 俄亥俄州立大学哥伦布分校计算机科学,【精选】俄亥俄州立大学哥伦布分校计算机科学与工程本科专业申请.pdf...
  10. HanLp的应用 - 真实使用
  11. [笔记]Windows核心编程《二十》DLL的高级操作技术
  12. 微信开发者工具创建vue项目步骤
  13. 积分商城搭建前的5个关键准备工作?
  14. DXP 内电层GND和POWER出现的死铜如何去除
  15. 极光推送REST API与Java后台对接
  16. Oracle 11g 学习笔记-14(数据库性能优化)
  17. K65 Flex_CAN模块初始化
  18. 女程序员,为什么比男程序员少???
  19. 身份证号码的合法性校验
  20. linux rz命令安装,Linux下手动安装上传rz和下载sz命令

热门文章

  1. NRF24L012.4G模块
  2. HTML:网页设计案例4
  3. Java核心类库(一)
  4. 17张思维导图,2021年作为一名前端开发者需要掌握这些,前端面试复习资料参考大纲
  5. 别再眼红别人家的年终奖了,这才是大多数人的现状!
  6. 为什么说期货交易者依靠程序化交易系统接口才能获得成功
  7. Meanshift 和 Camshift
  8. Lesson 1. 线性回归模型的一般实现形式
  9. Linux lseek函数
  10. MySQL语句性能优化