Python_Proxy代理

文章目录

urllib方式
Requests方式

urllib方式

第一步：创建一个代理处理器ProxyHandler

urllib.request.ProxyHandler(proxies=None)

ProxyHandler是一个类，其参数是一个字典：{“协议类型” ：“代理IP：端口号”}。使请求通过代理。如果给定代理，它必须是一个字典映射协议名称到代理的url。默认情况下，从环境变量_proxy中读取代理列表。

第二步：创建一个opener

urllib.request.build_opener(handler)

参数是你创建的处理器对象

第三步：安装opener，install_opener()用来创建（全局）默认opener，这个表示再次调用urlopen将使用你创建的opener，如果不想替换掉，只是想临时使用一下，可以使用opener.open(url)，这样就不会对程序默认的urlopen有影响

import urllib.requesturl = "http://www.baidu.com"
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
headers = {"User-Agent" : user_agent}# 创建一个代理处理器ProxyHandler
proxy_handler = urllib.request.ProxyHandler({"http":"118.190.95.35:9001"})# 创建一个opener
opener = urllib.request.build_opener(proxy_handler)# 创建请求
request = urllib.request.Request(url, headers=headers)# 调用opener，获取网页响应
response = opener.open(request)# 安装opener,install_opener()用来创建（全局）默认opener，这个表示再次调用urlopen将使用你创建的opener，如果不想替换掉，只是想临时使用一下，可以使用opener.open(url)，这样就不会对程序默认的urlopen有影响
# urllib.request.install_opener(opener)
# response = opener.open(request)# 返回HTTP状态码 200 表示访问成功
print(response.getcode())

Requests方式

import requestsurl = "http://www.baidu.com"
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
headers = {"User-Agent" : user_agent}proxies = {"http":"118.190.95.35:9001"}response = requests.get(url, headers = headers, proxies = proxies)print(response.status_code)

Python_Proxy代理相关推荐

Web项目使用nginx实现代理端口访问，看这篇就够了
在搭建服务器的时候,项目部署在tomcat上,要访问项目,则需要加上端口号,如何隐藏端口号来访问呢,这就用到了nginx. nginx可以在docker上安装,也可以在linux上安装,这里我建议使用 ...
RabbitMQ 入门系列（2）— 生产者、消费者、信道、代理、队列、交换器、路由键、绑定、交换器
本系列是「RabbitMQ实战:高效部署分布式消息队列」和「RabbitMQ实战指南」书籍的读书笔记. RabbitMQ 中重要概念 1. 生产者生产者(producer)创建消息,然后发送到代理 ...
【Spring】通过动态代理改进银行转账事务控制
前情银行转账的案例中,通过给业务层实现类中每个方法中通过事务控制方法添加事务控制,保证每个方法在执行时只有一个数据库连接,通过事务保证整个方法要成功全部成功,要失败都失败. 问题业务层实现类添加事 ...
【spring】动态代理
代理动态代理特点:字节码随用随创建,随用随加载作用:不修改源码的基础上对方法增强分类:基于接口的动态代理.基于子类的动态代理基于接口的动态代理: 涉及的类:Proxy 提供者:JDK ...
GOF23设计模式（结构型模式）代理模式~
代理模式应用场景十分广泛,随便一个框架都会用到,因此学好代理模式对后续框架学习是最基本的要素!!今天我们就来讲讲代理模式! 目录 1.简介 1. 核心作用 2. 角色分析 2. 应用场景 4. 分类 ...
定制语音代理（智能体）的背后是什么？
定制语音代理(智能体)的背后是什么? What's behind the move to custom voice agents? 自动化是未来的发展方向.生活在一个现在的时代,希望所有的事情都能迅速 ...
Python使用Redis实现IP代理池
可以使用快代理,芝麻代理,蘑菇代理 ,讯代理等代理商提供API代理IP或者免费代理建立自己IP代理池 #使用apscheduler库定时爬取ip,定时检测ip删除ip,做了2层检测,第一层爬取后放入r ...
Python 代理爬取网站数据
代理IP通过https://www.kuaidaili.com/free/ 获取,我使用的的是http 协议的代理.根据自己需求选择http或者https 协议的页面. 访问量会有增长,但效果不是非常 ...
（转）面试必备技能：JDK动态代理给Spring事务埋下的坑！
一.场景分析最近做项目遇到了一个很奇怪的问题,大致的业务场景是这样的:我们首先设定两个事务,事务parent和事务child,在Controller里边同时调用这两个方法,示例代码如下: 1.场景A ...

Python_Proxy代理

文章目录

urllib方式

Requests方式

Python_Proxy代理相关推荐

最新文章

热门文章