好用的免费代理池搭建

好用的免费代理池

**项目地址：https://github.com/lin423497786/ProxyPool.git**
效果图
- 运行项目
- 使用

项目地址：https://github.com/lin423497786/ProxyPool.git

效果图

免费代理池，提供如下功能：

定时抓取免费代理网站的代理信息, 可扩展。
定时验证爬取下来的代理, 剔除不可用代理, 留下可用代理, 保证代理的可用性。
提供api, 方便提取可用的代理。

运行项目

Python>=3.6

下载代码:

git clone https://github.com/lin423497786/ProxyPool.git
cd ProxyPool

安装依赖:

pip install -r requirements.txt

更改配置:

# proxypool/setting.py 为项目配置文件
import logging# redis key
REDIS_KEY = 'proxies'# redis 服务器的地址
REDIS_HOST = '192.168.174.128'# redis服务器的监听端口
REDIS_PORT = 6379# 连接redis服务器所使用的密码
REDIS_PASSWORD = ''# api服务绑定的ip地址
API_HOST = '0.0.0.0'# api服务监听的端口
API_PORT = 9999
...

启动项目:

python3 run.py

使用

启动服务后, 默认会在 http://127.0.0.1:9999 开启api接口服务:

api	method	Description	params
/	GET	api介绍	None
/random/	GET	随机获取多个代理	可选参数: `max_delay` 代理的最大延迟 `min_success_count`最小的连续检测成功次数，连续检测成功次数越多代表代理越稳定 `number`代理个数,默认为1
/pop/	GET	随机获取并删除多个代理	可选参数: `max_delay` 代理的最大延迟 `min_success_count`最小的连续检测成功次数，连续检测成功次数越多代表代理越稳定 `number`代理个数,默认为1
/all/	GET	获取所有代理	None
/count/	GET	查看代理数量	None
/clear/	GET	删除所有代理	None
/delete/	GET	删除代理	`proxy={PROTOCOL}://{IP}:{PORT}"`

示例

import requests# 获取一个随机代理
url = 'http://127.0.0.1:9999/random/'
requests.get(url)# 获取一个延时不超过1秒的代理
url = 'http://127.0.0.1:9999/random/?max_delay=1'
requests.get(url)# 获取5个延时不超过1秒的代理
url = 'http://127.0.0.1:9999/random/?max_delay=1&number=5'
requests.get(url)# 获取1个延时不超过1秒且连续检测成功4次的代理, 连续成功越多次代表代理越稳定
url = 'http://127.0.0.1:9999/random/?max_delay=1&number=1&min_success_count=4'
requests.get(url)

好用的免费代理池搭建相关推荐

技术分享：Proxy-Pool代理池搭建IP代理
提示:本章内容仅供参考,不涉及实际使用. Proxy Pool代理池搭建前言一.环境准备二.搭建过程 1.Redis数据库搭建 2.Proxy-Pool代理池搭建总结前言本章内容仅供参考, ...
python爬虫免费代理池_Python爬取免费代理搭建代理池
我们在做爬虫的过程中经常会遇到这样的情况:最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403Forbidden:这时候网页上可能会出现 "您 ...
免费代理池（proxy_pool）搭建教程
简介: 让我们先了解一下proxy_pool这个项目:在我们写爬虫的时候,有时候会遇到限制IP访问速度的,这样就严重的影响了我们程序的运行,而想解决限制就不得不去使用代理,网上的代理价格不一,让许多老 ...
python爬虫免费代理池_【Python3爬虫】教你怎么利用免费代理搭建代理池
一.写在前面有时候你的爬虫刚开始的时候可以正常运行,能够正常的爬取数据,但是过了一会,却出现了一个"403 Forbidden",或者是"您的IP访问频率太高" ...
如何维护一个1000 IP的免费代理池
楔子好友李博士要买房了, 前几天应邀帮他抓链家的数据分析下房价, 爬到一半遇到了验证码. 李博士的想法是每天把链家在售的二手房数据都抓一遍, 然后按照时间序列分析. 链家线上在交易的二手房数据大概有 ...
asyncio+aiohttp异步免费代理池(已失效)
asyncio+aiohttp异步代理池程序已失效,因为免费代理可用率实在太低,就不维护了. 异步代理池 github地址初级版本代理池博客地址经历了好几天时间,终于将asyncio初步了解, ...
免费代理池，在线公共ip池
这些公共代理是完全免费提供的,不需要任何授权. 免费代理通常是开放的.流行的公共代理. 与私人代理不同,公共代理不需要注册或密码.事实上,它们是负责安装在计算机上的代理服务器并且不关心更改默认设置的系 ...
动态可维护ip代理池搭建（定时更新模块）
动态可维护ip代理池(爬虫模块)继上一次的爬虫模块,我们先来优化一下并添加redis配置参数,参数配置以自身机器设定. import random import time import request ...
Python 抓取快代理、西刺代理、西拉代理等等构建免费代理池
import reimport requests from lxml import etreeheaders = {"User-Agent": "Mozilla/5.0 ...

好用的免费代理池搭建

好用的免费代理池

项目地址：https://github.com/lin423497786/ProxyPool.git

效果图

运行项目

使用

好用的免费代理池搭建相关推荐

最新文章

热门文章