【python分布爬虫】1-3.requests使用代理ip

使用代理：
使用requests添加代理也非常简单，只要在请求的方法中（比如get或者post）传递proxies参数就可以了。
（当发送请求过多，并且ip地址是同一个ip地址，当真实的ip地址被目标服务器封掉，无法进行下去，这时就要使用代理）

import requests# httpbin.org/ip:可以查看ip地址proxy = {'http': '120.220.220.95:8085'
}
response = requests.get("http://httpbin.org/ip", proxies=proxy)
print(response.text)

处理cookie:

# cookie
# 如果在一个响应中包含了cookie，那么可以利用cookies属性拿到这个返回的cookie值：import requestsresponse = requests.get('http://www.baidu.com')
print(response.cookies.get_dict())  # get_dict()会以字典的方式返回

结果：{‘BDORZ’: ‘27315’}

如果想要在多次请求中共享cookie，那么应该使用session，示例代码如下

requests处理不信任的ssl证书

import requests'''
对于那些已经被信任的ssl证书的网站，将verify设置为False,比如 https://www.baidu.com/,那么使用requests直接就可以正常的返回响应。
'''
resp = requests.get('http://www.12306.cn/mormhweb', verify=False)
print(resp.content.decode('utf-8'))

【python分布爬虫】1-3.requests使用代理ip相关推荐

python反爬虫应对措施之搭建代理IP池
通过网络访问服务器时,服务器端会通过IP地址知道是谁来对其进行访问,我们在爬虫过程中,如果经常使用一个IP地址对同一个URL进行访问,此IP很有可能被服务器拉入黑名单,就访问不了此URL了,这是针对具 ...
python使用代理爬虫_python爬虫requests使用代理ip
python爬虫requests使用代理ip 一.总结一句话总结: a.请求时,先将请求发给代理服务器,代理服务器请求目标服务器,然后目标服务器将数据传给代理服务器,代理服务器再将数据给爬虫. b. ...
python爬虫分布图_13天搞定Python分布爬虫！成为炙手可热的爬虫工程师
原标题:13天搞定Python分布爬虫!成为炙手可热的爬虫工程师 1.什么是爬虫? 网络爬虫也叫网络蜘蛛,如果把互联网比喻成一个蜘蛛网,那么爬虫就是在网上爬来爬去的蜘蛛,爬虫程序通过请求url地址,根 ...
python爬虫教程：爬虫时如何知道是否代理ip伪装成功
python爬虫教程:爬虫时如何知道是否代理ip伪装成功有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的 ...
Python爬虫热点项目之实现代理IP池（IP proxy pool）
代理池概述代理池就是由多个稳定可用代理IP组成的池子.用来应对ip反爬,而网上的免费代理稳定可用的极少,更有甚者连收费的也不都是稳定可用. 开发环境: windous,python3,sublime ...
Python 网络爬虫笔记2 -- Requests库实战
Python 网络爬虫笔记2 – Requests库实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:P ...
Python 网络爬虫笔记1 -- Requests库
Python 网络爬虫笔记1 – Requests库 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pyt ...
requests模块代理IP池搭建视频爬取
requests模块&代理IP池搭建一 requests模块使用 1.1 get请求 1.2 url编码和解码 1.3 携带请求头 1.4 携带cookie 1.5 发送post请求 1.6 ...
requests使用代理IP
一.为什么使用代理IP 我们去爬取一些网站信息时,会把我们机器的IP也传递给目标网站,如果目标网站设置了反扒机制,比如检测单个IP的访问频率,如果频率超过某个阀值,则直接拒绝访问.举个例子,安居客网设 ...

【python分布爬虫】1-3.requests使用代理ip

【python分布爬虫】1-3.requests使用代理ip相关推荐

最新文章

热门文章