使用IP代理池伪装你的IP(python)
如何伪装你的 IP 呢?
对于 python 来说,使用代理访问很简单,就拿我们经常使用的 requests 库来说,
使用代理 ip如下:
定义代理 IP
proxies = {'http':'http://xx.xxx.xxx.xxx:xxxx','http':'http://xxx.xx.xx.xxx:xxx',....
}
使用代理
response = requests.get(url,proxies=proxies)
这样就可以使用你定义的代理地址去访问网站了。
那么,如何获取代理地址呢?可以搞一个 IP 代理池
主要就是通过 python 程序去抓取网上大量免费的代理 ip,然后定时的去检测这些 ip 可不可以用,那么下次你要使用代理 ip 的时候,你只需要去自己的 ip 代理池里面拿就行了。
下面是一个不错的开源 ip 代理池
https://github.com/Python3WebSpider/ProxyPool.git
如何使用呢?
首先使用 git clone 将源代码拉到你本地
git clone https://github.com/Python3WebSpider/ProxyPool.git
接着在你 clone 下来的文件目录中,安装相关所需的 python 模块
pip install -r requirements.txt
接下来开启你的 redis
# redis启动命令
redis-server
redis 的默认端口就是 6379
接着就可以运行 run.py 了
代理池开始运行* Running on http://0.0.0.0:5555/ (Press CTRL+C to quit)
开始抓取代理
抓取器开始执行
Crawling http://www.66ip.cn/1.html
正在抓取 http://www.66ip.cn/1.html
抓取成功 http://www.66ip.cn/1.html 200
成功获取到代理 201.69.7.108:9000
成功获取到代理 111.67.97.58:36251
成功获取到代理 187.32.159.61:51936
成功获取到代理 60.13.42.154:9999
成功获取到代理 106.14.5.129:80
成功获取到代理 222.92.112.66:8080
成功获取到代理 125.26.99.84:60493
...
这时候在你的 redis 中就有爬取到的代理 ip 了
项目跑起来之后,你就可以访问你的代理池了,比如随机获取一个代理 ip 地址:
http://localhost:5555/random
这样访问之后就会获取到一个代理 ip
在代码中获取代理也不在话下啦
import requestsPROXY_POOL_URL = 'http://localhost:5555/random'# 获取代理
def get_proxy():try:response = requests.get(PROXY_POOL_URL)# 如果请求成功,返回一个代理地址if response.status_code == 200:return response.text # 54.233.130.197:8080except ConnectionError:return Nonereal_proxy = 'http://' + get_proxy()
这样,我们就成功的在我们的代理池中获取代理 ip了。
转载自:https://blog.csdn.net/weixin_42469142/article/details/89943898?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
使用IP代理池伪装你的IP(python)相关推荐
- python通过ip池爬_python爬虫18 | 就算你被封了也能继续爬,使用IP代理池伪装你的IP地址,让IP飘一会...
我们上次说了伪装头部 ↓ 让自己的 python 爬虫假装是浏览器 小帅b主要是想让你知道 在爬取网站的时候 要多的站在对方的角度想问题 其实 这和泡妞差不多 你要多站在妹纸的角度思考 她的兴趣是什么 ...
- Python之反爬虫手段(User-Agent,Cookie,Referer,time.sleep(),IP代理池)
现在的爬虫越来越难,各大网站为了预防不间断的网络爬虫,都相应地做出了不同的反爬机制,那么如何能够在不被封IP的情况,尽可能多得爬取数据呢?这里主要介绍到一些通用的反爬措施,虽然不一定适合所有网站,但是 ...
- python爬虫:多线程收集/验证IP从而搭建有效IP代理池
文章目录 搭建代理IP池 (1)IP来源 (2)初步收集IP (3)可用性检验 (4)IP池存储展示 (5)单线程IP池完整实现 (6)多线程IP验证 搭建代理IP池 (1)IP来源 了解到代理IP及 ...
- 爬虫基础篇之IP代理池
代理池介绍 由众多ip组成提供多个稳定可用代理IP的ip池. 当我们做爬虫时,最常见的反爬手段就是IP反爬,当同一个IP访问网站超出频控限制,将会被限制访问,那么代理IP池应运而生.资金充足的情况下个 ...
- 数据:快来爬我呀!小白:ip被封了 数据:做个ip代理池吧!这样就可以继续爬我了
原标题:运用Python做一个ip代理池 前言: 作为对Python爬虫才一点的进步的小白,我对于IP代理池也不是很理解,如果没有达到读者的要求,还请见谅!我今天写的这篇文章主要是讲运用Python爬 ...
- Python创建免费Ip代理池,伪装Ip。
Python创建免费Ip代理池 主要使用requests第三方库.欸嘿,有了这个,就不用花钱买Ip了,生活小妙招.妙哇. 一.具体思路 1.利用requests爬取免费代理Ip的网页 2.存储列表后, ...
- Scrapy学习-13-使用DownloaderMiddleware设置IP代理池及IP变换
设置IP代理池及IP变换方案 方案一: 使用国内免费的IP代理 1 http://www.xicidaili.com # 创建一个tools文件夹,新建一个py文件,用于获取代理IP和PORT fro ...
- IP代理池proxy,自建,免费,详细教程
这篇文章教你如何白嫖免费代理网站构造自己的一个ip代理池,不在为反爬检测而烦恼. 思路就是找到一个免费ip网站,然后抓取上面的ip,去一个一个测试,能用的返回,不能用的扔掉. 网站:http://ww ...
- Python爬虫——建立IP代理池
在使用Python爬虫时,经常遇见具有反爬机制的网站.我们可以通过伪装headers来爬取,但是网站还是可以获取你的ip,从而禁掉你的ip来阻止爬取信息. 在request方法中,我们可以通过prox ...
最新文章
- springcloud 微服务鉴权_我对微服务、SpringCloud、k8s、Istio的一些杂想
- 程序无法启动ALL_BUILD 拒绝访问
- 更新了一个新版本的editplus 语法文件(for nagios)
- 单行文字、多行文字溢出时省略号表示的多种解决方式;调整字符间距;段落首字母大写缩进效果;
- 手动创建线程更好哦_如何通过创建更好的工作流程找到下一个大想法
- 动态规划——最大子数组和(Leetcode 53)
- Win7双屏显示设置
- 大数据分析优劣势有哪些
- 【vscode】vscode + vue项目实战记录
- create session 参数介绍
- android上的单片机编程软件下载,AVR单片机编程软件(AVR_fighter)
- 搜狗输入法linux词库导入,Fedora 20下 ibus 导入搜狗词库的正确做法
- 阿里云CentOS7服务器搭建邮件服务器,端口:465
- 关于sip软电话嵌入到网页web端的学习----第一天(2)(高手指点)遇到问题了jssip
- 父亲节用计算机给惊喜,我们为你准备了父亲节惊喜!点击领取!
- 2021 年 Kubernetes 的开发者工具:Helm、Kustomize 和 Skaffold
- 女性最容易出轨的8种职业
- 架构师成长之路(3)--如何成为架构师(方法)
- Pnadas学习day-01
- js基础练习题(1)