爬虫增加代理池：使用稳定第三方芝麻代理IP 教程（详细可用）

先大致说一下，博主在用自己写的脚本为接近100人打卡，结果有一天访问错误，折腾了半天最后只能想到ip被封了，服务器的ip 只能免费更换两次，所以没办法只能另寻他路，不过当时我没弄代理池，我选择了手动打卡，因为手机的ip不是固定的，后来换了苹果13发现商店里面的所有能装第三方库的app都需要收费，很头疼，在了解过苹果的自签以及续签不得不说非常麻烦，都到崩溃的边缘了才想起之前咨询过的芝麻代理，今天已经解决了，我对ip使用量不大，一个ip即可，一个月更换一次

注册实名认证后获得20元，我选择0.048元 5~25分钟

不得不说他们的开发文档我看了好大一会

芝麻ip官网

接下来上代码：

#coding=utf-8
import requests#请求地址
targetUrl = "http://httpbin.org/ip"#用于测试当前访问的ip#代理服务器# 获取芝麻代理ip
url = "代理链接"
body = {}
headers = {}
response = requests.post(url, json=body, headers=headers)
print(response.text)#获取到的代理信息
ip_data = response.json()
ipip_1 = ip_data['data'][0]['ip']
ipip_1_port = ip_data['data'][0]['port']# 获取结束
proxyHost = ipip_1
proxyPort = ipip_1_portproxyMeta = "http://%(host)s:%(port)s" % {"host" : proxyHost,"port" : proxyPort,
}proxies = {"http"  : proxyMeta,"https"  : proxyMeta
}
#proxies对接你的业务即可
resp = requests.get(targetUrl, proxies=proxies)
print(resp.status_code)
print(resp.text)

测试截图：

注意事项：
使用时，如果是服务器请添加ip白名单，具体操作看官网最下面

保存白名单成功后：

最后我的成功图：

爬虫增加代理池：使用稳定第三方芝麻代理IP 教程（详细可用）相关推荐

python爬虫免费代理池_Python爬取免费代理搭建代理池
我们在做爬虫的过程中经常会遇到这样的情况:最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403Forbidden:这时候网页上可能会出现 "您 ...
第九部分代理的使用（代理设置，代理池的搭建，用代理获取微信公众号文章）...
网站采取的反爬虫措施有:弹出验证码,需要登录.检测某个IP在单位时间内的请求次数,超过规定的某个值,服务器拒绝服务,返回一些错误信息,这是封IP. 既然服务器封IP,可采用某种方式伪装IP,让服务器不 ...
IP代理池proxy，自建，免费，详细教程
这篇文章教你如何白嫖免费代理网站构造自己的一个ip代理池,不在为反爬检测而烦恼. 思路就是找到一个免费ip网站,然后抓取上面的ip,去一个一个测试,能用的返回,不能用的扔掉. 网站:http://ww ...
pythonscrapy爬虫ip代理池_在Scrapy中使用IP池或用户代理（python3）
一.创建Scrapy工程 1 scrapy startproject 工程名二.进入工程目录,根据爬虫模板生成爬虫文件 1 scrapy genspider -l # 查看可用模板2 scrapy ...
【Redis】孔夫子旧书网爬虫接入芝麻代理IP：代理IP利用效率最大化
背景: 之前用过芝麻IP,写过这几篇文章 <[Python]芝麻HTTP代理系列保姆级全套攻略(对接教程+自动领取每日IP+IP最优算法)> <[Python]记录抓包分析自动领取芝 ...
介绍一种 Python 更方便的爬虫代理池实现方案
现在搞爬虫,代理是不可或缺的资源很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识 ...
免费的高匿名爬虫代理池不求人|高可用、高匿名、代理池详解及搭建推荐
文章目录关于代理的分类: 透明代理(Transparent Proxy) 匿名代理(Anonymous Proxy) 混淆代理(Distorting Proxies) 高匿代理(Elite prox ...
python ip动态代理_给自己的爬虫做一个简单的动态代理池
使用代理服务器一直是爬虫防BAN最有效的手段,但网上的免费代理往往质量很低,大部分代理完全不能使用,剩下能用的代理很多也只有几分钟的寿命,没法直接用到爬虫项目中. 下面简单记录一下我用scrapy+r ...
python爬虫免费代理池_【Python3爬虫】教你怎么利用免费代理搭建代理池
一.写在前面有时候你的爬虫刚开始的时候可以正常运行,能够正常的爬取数据,但是过了一会,却出现了一个"403 Forbidden",或者是"您的IP访问频率太高" ...

爬虫增加代理池：使用稳定第三方芝麻代理IP 教程（详细可用）

爬虫增加代理池：使用稳定第三方芝麻代理IP 教程（详细可用）相关推荐

最新文章

热门文章