requests模块中使用代理proxy发送请求

1. 代理概述

玩爬虫为什么我们不能使用一个固定IP发送请求
- 你使用一个固定IP发送每秒向对方服务器发送10几个请求,对方认为这样操作不是人干的, 就把你IP给封了
- 服务器端的人可以根据你IP很快锁定你, 要求你对这种窃取行为赔偿.
代理
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qMPq8I3z-1645505402609)(https://www.cnblogs.com/ddop1/p/images/02.png)]
正向代理与反向代理
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-szcHu8Oq-1645505402610)(https://www.cnblogs.com/ddop1/p/images/03.png)]
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CQTwLKzM-1645505402610)(https://www.cnblogs.com/ddop1/p/images/04.png)]
正向代理与反向代理的区别
- 反向代理:
  - 服务器端知道代理的存在,反向代理是为了保护服务器或负责负载均衡
  - 但是客户端不知道代理的存在的
- 正向代理:
  - 客户端知道代理的存在,正向代理是为保护客户端,防止追究责任.
  - 但是服务端不知道真实的客户端

2. 如何在requests模块中使用代理

在requests模块中使用代理格式(重点)

   proxies = {"http":"http://ip:端口号""https":"https://ip:端口号"}request.get(url, proxies=proxies)

使用需要账号和密码的代理

   proxies = {"http":"http://username:password@ip:端口号""https": "https://username:password@ip:端口号"}request.get(url, proxies=proxies)

代码

      import requests# 使用代理获取百度首页headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}#  定义代理的字典proxies = {# "http":"http://14.118.252.64:6666"# "https":"https://114.99.30.126:18118""http": "http://121.228.8.93:8118"}# 使用代理给服务器发送请求response = requests.get("https://www.baidu.com", proxies=proxies, headers=headers)# 获取状态print(response.status_code)print(response.content.decode())

3. 代理IP的分类

根据代理ip的匿名程度，代理IP可以分为下面四类：

透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。
匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。
高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

在使用的使用，毫无疑问使用高匿代理效果最好

从请求使用的协议可以分为：

http代理
https代理
socket代理等

不同分类的代理，在使用的时候需要根据抓取网站的协议来选择

4. 代理IP使用的注意点

反反爬

使用代理ip是非常必要的一种反反爬的方式

但是即使使用了代理ip，对方服务器任然会有很多的方式来检测我们是否是一个爬虫，比如：
- 一段时间内，检测IP访问的频率，访问太多频繁会屏蔽
- 检查Cookie，User-Agent，Referer等header参数，若没有则屏蔽
- 服务方购买所有代理提供商，加入到反爬虫数据库里，若检测是代理则屏蔽
  
  所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用，不要每次都用一个代理ip
代理ip池的更新

购买的代理ip很多时候大部分(超过60%)可能都没办法使用，这个时候就需要通过程序去检测哪些可用，把不能用的删除掉。
小结
使用代理的好处:
- 让目标服务器以为不是同一个客户端在请求，防止因为同一个ip发送请求过多而被反爬
- 防止我们的真实地址被泄露，防止被追究,保护自己
如何在requests中使用代理
- request.get(url, proxies=proxies)
转载https://www.cnblogs.com/ddop1/p/9468796.html

requests模块中使用代理proxy发送请求相关推荐

python接口自动化43- 使用代理proxies 发送请求
前言如何在 requests 模块中使用代理发送请求 requests 使用代理在requests模块中使用代理示例 # 作者-上海悠悠微信/QQ交流:283340479 # blog地址 ht ...
网络中的代理(proxy)和NAT
简介ip地址和子网掩码答: ip地址包括网络地址(前三段数字)和主机地址(第四段数字) 子网掩码用于计算出网络地址,控制广播范围. 网络中的代理(proxy)是什么意思?NAT是什么意思? 答: p ...
python 爬虫 requests模块中的Cookies 验证通过验证cookies模拟登陆豆瓣登陆
在爬取某些数据时,需要进行网页的登陆,才可以进行数据的抓取工作.Cookies登陆就像很多网页中的自动登陆功能一样,可以让用户第二次登陆时不在需要验证账号和密码的情况下进行登陆.在requests模块 ...
爬虫之requests模块中cookies参数的使用
爬虫之requests模块中cookies参数的使用上一篇文章在headers参数中携带cookie,也可以使用专门的cookies参数 cookies参数的形式:字典 cookies = {&qu ...
JQ中使用FormData+Ajax发送请求及使用express接收处理FormData数据
JQ中使用FormData+Ajax发送请求及使用express接收处理FormData数据最近写大创项目的时候,要做登录功能,考虑到之后还需要上传头像图片,因此决定使用FormData发送表单请求 ...
Requests 模块中文文档（一）
原文链接 -> 传送门 The User Guide(1) 目录一.为什么我还要重新翻译该文档? 二.开发哲学和协议三.安装 Requests 四.快速上手五.高级用法六.身份认证一. ...
pythonrequests代理ip_python使用requests模块使用ip代理池
import json import telnetlib import requests import random # 代理ip列表 proxy_url = "https://raw.gi ...
python mount回调函数_python requests模块中返回时间elapsed解析
一.问题: Python 中requests库在发送http请求时相当方便好用,但在使用时一直受一个问题困扰,怎么才能查看请求时长呢? 自己写时间函数再相减?NO,这个方法肯定不行. 二.解决: 好吧 ...
python requests模块中返回时间elapsed解析
一.问题: Python 中requests库在发送http请求时相当方便好用,但在使用时一直受一个问题困扰,怎么才能查看请求时长呢? 自己写时间函数再相减?NO,这个方法肯定不行. 二.解决: 好吧 ...
php curl发送post请求失败,PHP中的使用curl发送请求（GET请求和POST请求）
使用CURL发送请求的基本流程使用CURL的PHP扩展完成一个HTTP请求的发送一般有以下几个步骤: 1.初始化连接句柄: 2.设置CURL选项: 3.执行并获取结果: 4.释放VURL连接句柄. ...

requests模块中使用代理proxy发送请求

1. 代理概述

2. 如何在requests模块中使用代理

3. 代理IP的分类

4. 代理IP使用的注意点

requests模块中使用代理proxy发送请求相关推荐

最新文章

热门文章