爬虫-ProxyHandler代理类-通过代理发起请求
小结代理的使用套路
》核心部骤
# 代理处理器对象
handler = ProxyHandler(pro_dict)
# 打开器对象
opener = build_opener(handler)
# 打开器对象的打开方法
res = opener.open(url)
ProxyHandler处理器 代理设置
》笔记
通过代理发请求的原理
通过代理来发请求
》流程如图
不错的工具网址
httpbin.org
http://httpbin.org/
查看get信息
httpbin.org/get
http://httpbin.org/get
查看请求ip
http://httpbin.org/ip
测试通过代理发的请求
通过Ip代理来发起请求,然后查看一下到底是哪一个代理在生效
练习
》直接发请求
》通过请求对象发请求
》通过代理发请求
from urllib.request import urlopen, Request, ProxyHandler, build_openerurl = 'http://httpbin.org/ip'pro_dict = {"http": "115.221.244.217"}
handler = ProxyHandler(pro_dict)
opener = build_opener(handler)
# req = Request(url)
res = opener.open(url)
print(res.read())
结果
实测结果,并没有显示代理的ip
原晨待核实
不过如果提供的代理ip有问题
是不会请求成功的
当前有结果,代表着还是一个成功的请求
爬虫-ProxyHandler代理类-通过代理发起请求相关推荐
- JAVA基础加强(张孝祥)_类加载器、分析代理类的作用与原理及AOP概念、分析JVM动态生成的类、实现类似Spring的可配置的AOP框架...
1.类加载器 ·简要介绍什么是类加载器,和类加载器的作用 ·Java虚拟机中可以安装多个类加载器,系统默认三个主要类加载器,每个类负责加载特定位置的类:BootStrap,ExtClassLoader ...
- final类是否可以被代理_设计模式——代理模式
代理模式 什么是代理模式 通过代理控制对象的访问,可以详细访问某个对象的方法,在这个方法调用处理,或调用后处理.既(AOP微实现) ,AOP核心技术面向切面编程. 代理模式应用场景 SpringAOP ...
- 黑马程序员-代理类的作用与原理及AOP
------Java培训.Android培训.iOS培训..Net培训.期待与您交流! ------- 代理的概念与作用 程序中的代理 要为已存在的多个具有相同接口的目标类的各个方法增加一些系统功能, ...
- 爬虫之基本原理及简单使用、请求库之requests库及小案例
文章目录 1.基本原理及简单使用 1.1.定义 1.2.爬虫的基本流程 1.3.请求与响应 1.4.Request 1.5.Response 1.6.总结 2.请求库之requests库 2.1.基本 ...
- Java代理模式/静态代理/动态代理
代理模式:即Proxy Pattern,常用的设计模式之一.代理模式的主要作用是为其他对象提供一种代理以控制对这个对象的访问. 代理概念 :为某个对象提供一个代理,以控制对这个对象的访问. 代理类和委 ...
- 代理模式详解(静态代理和动态代理的区别以及联系)
原文链接:https://www.cnblogs.com/takumicx/p/9285230.html 1. 前言 代理模式可以说是生活中处处可见.比如说在携程上定火车票,携程在这里就起到了一个代理 ...
- 正向代理和反向代理区别
文章目录 正向代理和反向代理区别 场景 非代理情况 正向代理 反向代理 总结:一言以蔽之 正向代理: 反向代理: 应用 正向代理通常应用于: 反向代理通常应用于: 正向代理和反向代理区别 我们经常接触 ...
- 架构设计之设计模式 (二) 静态代理和动态代理--间接“美”
生活中有很多例子是间接来控制和访问的,比如你找一个人不自己亲自去,而是让别人代替去做这就是最简单的代理模式,是一种间接通信的例子,对象间的间接通信也同样是面向对象设计中的一条重要的"审美观& ...
- java静态代理与动态代理简单分析
原创作品,可以转载,但是请标注出处地址http://www.cnblogs.com/V1haoge/p/5860749.html 1.动态代理(Dynamic Proxy) 代理分为静态代理和动态代理 ...
最新文章
- [转载]IE678兼容性前缀区分
- 【2016-05-19】一次tomcat频繁挂掉的问题定位
- np.concatenate
- mysql双机数据热备份_mysql 双机交互热备份
- c语言 while 教案,c语言电子教案(刘丹)
- js 缺少标识符、字符串或数字
- 算法 | 尺度不变特征变换匹配算法 Scale Invariant Feature Transform (SIFT)
- 深入了解gradle和maven的区别
- NEC SV8100电话交换机配置梓博电话计费系统
- postgres 判断null_PostgreSQL NULLIF()用法及代码示例
- Java学习路线,你值得了解
- php 匹配多个字符串,php 字符串中是否包含指定字符串的多种方法
- sqlite 复合唯一索引_sqlite 批量插入, 重复插入(更新)
- 通过还款计划表监控还款异常
- Java中常见常用的类
- 【2019.05】腾讯防水墙滑动验证码破解 python + selenium + OpenCV
- 各大卷王轮番上阵,“三无”计算机保研er如何逆袭?
- python if简洁写法_Python - if-else 的多种简洁写法
- 简述igp和egp_路由协议的常见分类——GGP、EGP和IGP介绍
- 在线APP设计平台,APP在线开发工具有哪些?
热门文章
- pg加密扩展的安装_为编译安装的PG安装扩展
- vue组件transition的使用(demo演示) - 教程篇
- syntaxhighlighter 代码高亮 - 插件化
- filter滤镜实现img图片的CSS蒙版效果、模糊效果
- 集合python_python集合访问的方法
- android获取设备的唯一编号,android如何获取设备的唯一设备码
- 忧心文案小程序第二版前端后端源码
- ZT云流量软件官网响应式HTML模板
- android没有输入焦点类控件的输入法调用,Android 手机下输入框获取焦点时, 输入法会挡住输入框...
- mysql不能写重复键_mysql主键重复,不抱错,只更新的骚操作 (如果没有插入,如果有更新)...