亿牛云API优质代理使用中出现的问题
(1) 代理提取失败
停止程序访问,直接使用IE浏览器访问代理API,截图看看错误提示:
如果页面访问失败
注意API链接是否复制正确;爬虫服务器是否有防火墙禁止网络访问;服务器是Linux提取api,是需要转义,&符号前面要加
页面访问成功,返回错误信息,需要看看错误信息内容
您的IP: 125.69.47.134 没在白名单( 125.69.44.227 222.209.8.0 )中
原因:ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP
修改IP白名单太频繁
原因:1、ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP,同时注意对方是不是开启了IP自动更新选项,如果对方有多个网络出口,就会导致ip自动更新频繁。
False,没有获取到任何代理,速率超过限制
原因:一条代理API链接只能按照指定时间间隔进行访问,注意程序是不是有多个线程访问或一个服务器下有多个软件运行,超出了代理链接提取速度,请用浏览器访问代理API链接,看看中文提示错误描述。如果服务器每秒请求超过一次,会被判断为DDOS攻击行为,直接黑名单处理,停止该行为一段时间后会自动恢复访问许可。
(2) 代理提取之后,代理不能访问或访问失败率很高
原因:提取和使用代理IP的机器是不是都绑定了IP白名单,注意看看对方服务器IP是不是电信或联通的IP;
(3) 代理能访问,偶尔出现访问失败或提取失败
原因:注意看看对方服务器IP是不是电信或联通的IP,同时询问对方是不是多个IP白名单的情况下,开启了IP自动更新出现了冲突;对方是否控制了代理IP的使用时间,超出了2-10分钟,导致IP失效。
(4) 代理能访问,出现大量429
原因:要求对方控制每个代理IP的请求数,最好一个代理IP一个线程,避免出现阻塞,同时建议客户增加IP提取量
(5) 代理能访问,出现大量403、504或503
原因:爬虫程序的采集行为被网站标识并拒绝服务,求对方控制每个代理IP的请求数,并且增加IP提取量。
(6) 提取的代理IP都是相同IP
原因:部分地区为保证网络速度、降低网络延迟,提供IP隧道代理,该代理通过固定IP+随机端口,在一个时间点上随机分配一个外网IP(又称:公网IP),因此统计代理IP的重复率是不准确的。
亿牛云API优质代理使用中出现的问题相关推荐
- API优质代理知识点(2)
什么是API代理: API就是url链接,用户的程序需要支持API的读取,定期从url中获取代理IP的 (1)默认标准格式:ip:port (中间":"字符可以任意修改): 125 ...
- 阿布云、青果网络、亿牛云、熊猫代理,隧道代理推荐哪一家?
HTTP代理的广泛应用,隧道代理以其云端切换HTTP代理的特性.使用更加便捷显得尤为突出.不再像传统代理服务器的不断请求,隧道代理是高速HTTP隧道,通过将请求转发到不同的HTTP代理实现不断更换. ...
- 使用优质代理的正确方案
近年来互联网的快速发展,各行各业发展尤为迅速,大数据时代来临,爬虫行业迎来高速发展,代理IP的作用也日益重要.近几年来,各种代理IP的推出吸引了不少人的关注,到底什么是代理IP呢?简单的讲代理IP指的 ...
- api网关选型_如何轻松打造百亿流量API网关?看这一篇就够了(下)
如何轻松打造百亿流量API网关?看这一篇就够了(上) 上篇整体描述了网关的背景,涉及职能.分类.定位环节,本篇进入本文的重点,将会具体谈下百亿级流量API网关的演进过程. 准备好瓜子花生小板凳开始积累 ...
- 【Android 安全】DEX 加密 ( Java 工具开发 | 加密解密算法 API | 编译代理 Application 依赖库 | 解压依赖库 aar 文件 )
文章目录 一.加密解密算法 API 二.编译代理 Application 依赖库 三.解压代理 Application 依赖库 aar 文件 参考博客 : [Android 安全]DEX 加密 ( 常 ...
- CondenserDotNet - 使用 Kestrel 和 Consul 的 API 反向代理库!
简介 CondenserDotNet - 使用 Kestrel 和 Consul 的 API 反向代理库! 特点 •Consul 客户端库,包括服务注册.发现和配置•反向代理•交互式 UI,用于查看有 ...
- jsp使用七牛云API和webuploader上传多组图片
文章目录 jsp使用七牛云API和webuploader上传多组图片 介绍 目录树 遇到的问题 上传组件的选择问题 进度条 多线程 前端界面 数据库 关键代码 UserPhotoDaoImpl Upl ...
- SSM_Mybatis_Day01(快速入门、映射文件概述、核心配置文件概述、相应API、代理开发方式、映射文件深入、数据类型的映射、列名和属性名不一致的时候的处理)
SSM_Mybatis_Day01(快速入门.映射文件概述.核心配置文件概述.相应API.代理开发方式.映射文件深入.数据类型的映射.列名和属性名不一致的时候的处理) 1. Mybatis mybat ...
- 如何快速判断优质代理IP?
现在,对于工作效率要求很高的互联网工作者,会选择高质量的IP代理. 所以大家对如何快速判断优质代理IP?你们都知道吗?以下是由小编为您详细介绍一下. 1.高质量代理IP优势: 可用率高,高质量的代理i ...
最新文章
- 图像分析用 OpenCV 与 Skimage,哪一个更好?
- Java 两个引用类型相等_java-Spring配置:2个具有相同类引用的bean
- 全栈工程师的学习笔记与工作记录
- 杂项-Log:NLog
- Markdown文件导出为HTML的小程序
- 菜鸟关于mvc导出Excel的想法
- 各省2002-2017年绿色全要素生产率(超效率SBM、EBM、方向距离函数)
- 基于网络安全相关的开源项目技术预研分析报告
- 微波射频十多年的舍与得
- 合肥二手房房价分析(多元线性回归)
- zheng:环境搭建及项目部署
- C++学习int main()函数
- SVL-VI SLAM
- Stream操作666
- web字体文件过大优化方案
- springboot:实现文件上传下载实时进度条功能【附带源码】
- lap.lapjv函数cost_limit参数
- GitHub 的 2021 年度报告,全球程序员好像都在卷呐!
- 微信小程序(小游戏)的示例
- 优雅编程之这样重构函数(续),你就“正常”了(二十)