python requests 使用代理

在python中，requests使用代理要比urllib好用太多，urllib还是有些交互性差。

HTTP代理

如果需要使用代理，你可以通过为任意请求方法提供 proxies 参数来配置单个请求:

import requestsproxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.10:1080",
}requests.get("http://example.org", proxies=proxies)

你也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理。

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"$ python
>>> import requests
>>> requests.get("http://example.org")

若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：

proxies = {"http": "http://user:pass@10.10.1.10:3128/",
}

要为某个特定的连接方式或者主机设置代理，使用 scheme://hostname 作为 key，它会针对指定的主机和连接方式进行匹配。

proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}

注意，代理 URL 必须包含连接方式。

socks5代理

import requestsheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36'
}proxies = {"http": "socks5://127.0.0.1:1086",'https': 'socks5://127.0.0.1:1086'
}url = 'https://www.google.com/search?q=python'
res = requests.get(url, headers=headers, proxies=proxies)
print(res)

python requests 使用代理相关推荐

Python requests ip代理爬虫报错 HTTPSConnectionPool(host=‘xxxxx‘, port=443) Max retries exceed
本人系统:macOS10.15.6 Catalina 场景:使用Python requests 包+ip代理池爬取网站数据出现报错:HTTPSConnectionPool(host='xxxxx', ...
Python requests ip代理爬虫报错 HTTPSConnectionPool(host=‘xxxxx‘, port=443): Max retries exceed...
本人系统:macOS10.15.6 Catalina 场景:使用Python requests 包+ip代理池爬取网站数据出现报错:HTTPSConnectionPool(host='xxxxx', ...
从入门到入土：Python requests代理 proxy配置 HTTP
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
python使用代理爬虫_python爬虫requests使用代理ip
python爬虫requests使用代理ip 一.总结一句话总结: a.请求时,先将请求发给代理服务器,代理服务器请求目标服务器,然后目标服务器将数据传给代理服务器,代理服务器再将数据给爬虫. b. ...
【python分布爬虫】1-3.requests使用代理ip
使用代理: 使用requests添加代理也非常简单,只要在请求的方法中(比如get或者post)传递proxies参数就可以了. (当发送请求过多,并且ip地址是同一个ip地址,当真实的ip地址被目标 ...
Python requests 笔记（一）
Python requests 添加 HTTP请求头抓取二进制文件上传文件设置Cookie 设置同一个会话(Session) 使用代理添加 HTTP请求头需要设置 get方法的headers ...
Python requests介绍之接口介绍
Python requests介绍引用官网介绍 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. Requests 允许你发送纯天然,植物饲养的 HTTP/1. ...
python全局代理_玩Python之HTTP代理
0x00 前言大家对HTTP代理应该都非常熟悉,它在很多方面都有着极为广泛的应用.HTTP代理分为正向代理和反向代理两种,后者一般用于将防火墙后面的服务提供给用户访问或者进行负载均衡,典型的有Ngi ...
Windows上利用Python自动切换代理IP的终极方案！
转载:http://www.jianshu.com/p/49c444d9a435 文/solomonxie(简书作者) 原文链接:http://www.jianshu.com/p/49c444d9a4 ...

python requests 使用代理

HTTP代理

socks5代理

python requests 使用代理相关推荐

最新文章

热门文章