本文知识点

  • 开放代理的使用流程
  • 代码样例
  • 进阶学习

前提条件: 开放代理的订单,可以免费试用。联系他们的客服开通试用

使用流程

  • 生成API链接,提取IP
  • 开始爬取

这里需要注意:开放代理的IP是从公网采集的,不能保证每个IP都可用。所以我这里用的是vip订单,可以筛选稳定的IP。这样提出来的IP可用质量要高些

代码样例

先把代码贴出来,再一步一步按要求来。大家先copy过去,代码里需要注意以下三项皆为实际在快代理官网获得的参数。

  • api_url api链接
  • page_url 默认是快代理验证IP的测试网址,自己也可以改成其他的网址

以下代码为python3所写

"""快代理代理IP使用教程"""import requests
import random# 要访问的目标网页
page_url = "http://dev.kdlapi.com/testproxy"# 添加header,模拟用户请求
headers = {"Accept-Encoding": "Gzip",  # 使用gzip压缩传输数据让访问更快"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36"
}# API接口,建议返回格式用json
api_url = ""
try:api_res = requests.get(api_url).json()['data']['proxy_list']
except Exception:api_res = requests.get(api_url).text.split("\r\n")
proxy = random.choice(api_res)# 代理IP的格式
proxies = {"http": "http://%(proxy)s/" % {'proxy': proxy},"https": "https://%(proxy)s/" % {'proxy': proxy}}# 添加header,模拟用户请求
headers = {"Accept-Encoding": "Gzip",  # 使用gzip压缩传输数据让访问更快"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36"
}# 发送request请求,打印响应code与body内容
r = requests.get(url=page_url, proxies=proxies, headers=headers)
print("response code",r.status_code)
print("response body",r.text)

生成API链接,获取代理IP

打开后台,找到订单,点击生成API链接

打开后,默认http协议,返回格式选json,我的订单是VIP订单,所以稳定性选稳定,返回格式选json,然后点击生成链接,下面的API链接直接复制上。

开始爬取

需要的都找到了,那现在运行下。看看结果,结果如下response code 200。
实际测试的时候,很有可能会遇到用不了的IP,这样的话就换个IP在运行下。

进阶学习

  • 快代理IP教程大全

【快代理】开放代理使用教程相关推荐

  1. 【Java】代理模式(静态代理动态代理)

    CONTENT 代理模式 静态代理 动态代理 JDK 动态代理(基于接口) CGLIB 动态代理(基于类继承) JDK 动态代理 v.s. CGLIB 动态代理 JDK 动态代理为什么必须基于接口 R ...

  2. Python HTTP代理的优缺点?芝麻代理豌豆代理熊猫代理讯代理?

    目前市场厂商提供的HTTP代理产品和服务差不多,使用下来还是有各自的优缺点,品质也是值得讨论的.如果不想和当大冤种,还是要仔细挑选厂商,不要被广告给迷惑了. 那咱们到底该怎么选?商家的可靠程度如何?我 ...

  3. Android开发如何理解Java静态代理 动态代理及动态生成代理对象原理 看这篇就够了

    动态代理与静态代理 前言 代理模式 静态代理 动态代理 JDK代理 动态生成代理对象原理 生成class数据源码 动态代理类真身 总结 前言 近期在研究Hook技术,需要用到动态代理,说到动态代理就会 ...

  4. python爬虫免费代理池_【Python3爬虫】教你怎么利用免费代理搭建代理池

    一.写在前面 有时候你的爬虫刚开始的时候可以正常运行,能够正常的爬取数据,但是过了一会,却出现了一个"403 Forbidden",或者是"您的IP访问频率太高" ...

  5. 代理设计模式(JDK动态代理)什么是代理,静态代理动态代理实现,分析JDK代理实现逻辑,手动实现JDK代理逻辑。

    什么是代理? 从字面意思来看,代理比较好理解,无非就是代为处理的意思.举个例子,现在哪吒有女助理了,所以很多事情都不用我自己去处理了,比如说去银行排队取钱,那么我就可以叫我的女助理去代替我取钱并交给我 ...

  6. 内网安全:Socks 代理 || 本地代理 技术.

    内网安全:Socks 代理 || 本地代理 技术. Socks 代理又称全能代理,就像有很多跳线的转接板,它只是简单地将一端的系统连接到另外一端.支持多种协议,包括http.ftp请求及其它类型的请求 ...

  7. 正向代理反向代理(校园网为例)

    1. 定义 1.1正向代理 我们常说的代理服务器(多指 VPN),一般就是正向代理 正向代理是一对一或多对一,反向代理就是一对多 正向代理代理的对象是客户端,反向代理代理的对象是服务端 1.2 反向代 ...

  8. java动态代理_Java代理模式及动态代理详解

    Java的动态代理在实践中有着广泛的使用场景,比如最场景的Spring AOP.Java注解的获取.日志.用户鉴权等.本篇文章带大家了解一下代理模式.静态代理以及基于JDK原生动态代理. 代理模式 无 ...

  9. 【IOC 控制反转】Android 事件依赖注入 ( 事件依赖注入具体的操作细节 | 创建 事件监听器 对应的 动态代理 | 动态代理的数据准备 | 创建调用处理程序 | 创建动态代理实例对象 )

    文章目录 前言 一.创建 事件监听器 对应的 动态代理 二.动态代理 数据准备 三.动态代理 调用处理程序 四.动态代理 实例对象创建 前言 Android 依赖注入的核心就是通过反射获取 类 / 方 ...

  10. 【Android 插件化】Hook 插件化框架 ( Hook 技术 | 代理模式 | 静态代理 | 动态代理 )

    Android 插件化系列文章目录 [Android 插件化]插件化简介 ( 组件化与插件化 ) [Android 插件化]插件化原理 ( JVM 内存数据 | 类加载流程 ) [Android 插件 ...

最新文章

  1. 比拼 Kafka , 大数据分析新秀 Pulsar 到底好在哪
  2. OpenCV函数 Laplacian 算子实现
  3. 一行代码求两个数的最大公约数
  4. Vue基础之Vue模板语法
  5. Target “xxx” links to target “Boost::filesystem“ but the target was not found
  6. 使用.htaccess文件为站点文件夹设置密码保护
  7. 编程实现 无符号加法溢出判断
  8. python模块time_python模块之time和datetime
  9. 拓端tecdat|R语言预测期货波动率的实现:ARCH与HAR-RV与GARCH,ARFIMA模型比较
  10. Atitit.收银机小票打印功能的设计  java php c#.net版本
  11. Python基础 Zero to Hero面向对象编程(一)
  12. 51nod1007:正整数分组 DP
  13. 利用交通实时数据和社交媒体数据对飓风疏散期间的交通需求进行预测
  14. 推荐一个数据库文档生成神器
  15. 阿里人绝不服输,用 7 部分讲明白百亿级高并发系统(全彩版小册开源
  16. Asciidoctor基础语法
  17. android图标未读消息,Android系统 应用图标显示未读消息数(BadgeNumber) 桌面app图标的角标显示...
  18. 怎样编写精确的延时函数
  19. Linux设备树是什么?
  20. 日历 android 周历,Android Studio 基础 之 获取系统Calendar 日历日程 (涉及指定日期时间判断是星期几的方法使用)的方法整理...

热门文章

  1. CAN Ape 标定与诊断
  2. 在CF卡上实现EWF功能
  3. SQL Server 2008R2密钥
  4. Hi3518E_V200 SDK编译笔记 第一季
  5. Matlab语言(一)
  6. Docker安装Tomcat7
  7. 应用程序图标丢失快捷方式没有图标怎么办
  8. mysql中编写匿名块_CAD软件中的匿名块怎么创建/编辑?有什么作用?
  9. 大学生DW网页设计基础知识
  10. linux fastboot工具,Linux下使用Fastboot给手机刷机