ADSL拨号代理-构建IP代理池

购买拨号VPS

云立方:http://www.yunlifang.cn/ 预装系统centos7.1

拨号主机设置

1.拨号上网

 adsl-start        //开始拨号ping www.baidu.com    //看能否ping通网址adsl-stop      //结束拨号

2.配置代理

以centos7.1为例

安装

yum install -y epel-release
yum update -y (执行该命令,会升级系统内核,建议不执行)
yum install -y tinyproxy

配置

vi /etc/tinyproxy/tinyproxy.conf

注释掉该行

Allow 127.0.0.1

启动

systemctl enable tinyproxy.service
systemctl restart  tinyproxy.service

测试

curl -x IP:PORT www.baidu.com

如果不能通,检查端口是否放行

firewall-cmd --zone=public  --query-port=8888/tcp
firewall-cmd --zone=public  --add-port=8888/tcp --permanent
firewall-cmd --reload

3.安装python3

CentOS

sudo yum groupinstall -y development tools
sudo yum install -y epel-release python34-devel  libxslt-devel libxml2- devel openssl-devel
sudo yum install -y python34 python34-setuptools
sudo easy_install-3.4 pip

Ubuntu

sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
sudo apt-get install -y python3 python3-pip

4.安装python库

pip3 install redis tornado requests

5.Clone项目

git clone https://gitee.com/Nic_LU/adslProxy.git

可能出现如下错误:

解决:

yum update nss curl

6.Redis

配置在固定ip的vps即可,阿里云,腾讯云等等

7.修改配置

配置文件是 /adslproxy/config.py

根据注释修改配置文件，主要修改要点如下：

ADSL_BASH
拨号命令，不同主机可能不同，默认 adsl-stop;adsl-start

PROXY_PORT
拨号主机代理端口，使用TinyProxy则默认为8888，使用Squid则默认3128，默认8888

CLIENT_NAME
客户端唯一标识，不同拨号主机请设置不同的名称，默认adsl1

ADSL_IFNAME
拨号网卡名称，主要根据ifconfig命令获取拨号后该网卡的IP，默认ppp0

REDIS_HOST
Redis数据库地址，请修改为固定IP的Redis Host，默认localhost

REDIS_PASSWORD
Redis数据库密码，如无则填None，默认None

REDIS_PORT
Redis数据库端口，默认6379

PROXY_KEY
Redis代理池键名开头，默认为adsl

8.运行

  python3 run.py(python3 run.py > /dev/null &)     //守护运行

ADSL拨号代理-构建IP代理池相关推荐

Python爬虫实战之：快代理搭建IP代理池（简版）
目录前言项目背景项目简介前期准备讲解1:项目搭建讲解2:安装 faker 库获取user-agent 讲解3:分析 "快代理" 页面讲解4:筛选有效IP 讲解5:Pa ...
python代理ip多进程_静听网+python爬虫+多线程+多进程+构建IP代理池
目标网站:静听网网站url:http://www.audio699.com/ 目标文件:所有在线听的音频文件附:我有个喜好就是晚上睡觉听有声书,然而很多软件都是付费才能听,免费在线网站虽然能听,但 ...
静听网+python爬虫+多线程+多进程+构建IP代理池
目标网站:静听网网站url:http://www.audio699.com/ 目标文件:所有在线听的音频文件附:我有个喜好就是晚上睡觉听有声书,然而很多软件都是付费才能听,免费在线网站虽然能听,但 ...
Python采集网站ip代理, 检测IP代理是否可用，构建自己的ip代理池
开发环境 Python 3.8 Pycharm 模块使用 requests >>> pip install requests parsel >>> pip inst ...
（十三）python网络爬虫（理论+实战）——IP代理、构建IP代理池
系列文章: python网络爬虫专栏目录序言本节学习目标特别申明 5 ip代理
httpclient4.5 结合讯代理实现IP代理
遇见问题嘘嘘,不要让太多的人知道!!!! 代理ip是爬虫工资必要的消费,那么如何很好的利用各家服务商提供的免费代理IP呢? 使用方案讲解一下,就是在爬取之前先到各家服务商哪里爬取最新的可利用代理I ...
什么是ip代理？如何选择ip代理？ip代理哪家好？
有时候我们希望保护自己的隐私,或者防止网络攻击,或者需要访问一些限制访问的网站.这时候,我们就需要使用代理IP. 代理IP是一种特殊的网络服务,它可以接收客户端发来的请求,并将这些请求转发给真正的目标 ...
python爬虫ip代理池_爬虫教程-Python3网络爬虫开发——IP代理池的维护
该楼层疑似违规已被系统折叠隐藏此楼查看此楼准备工作要实现IP代理池我们首先需要成功安装好了 Redis 数据库并启动服务,另外还需要安装 Aiohttp.Requests.RedisPy.PyQ ...
http代理评测，代理IP评测
苹果ASO与苹果ID注册的业务,还有HOTMAIL业务,多年与苹果做斗争,也吸取一套代理IP使用经验,使用过大部分国内外代理IP,下面我列出几家效果比较好的几家代理IP公司做一个对比,希望对有代理ip ...
易路代理静态IP和动态IP解析以及存在的区别
易路代理根据分配的IP性质可以分为静态IP地址和动态IP地址两大类,本文主要讲解易路代理中这2种代理IP类型以及它们之间存在的区别.在易路代理的客户端中也能清晰的看到对于静态IP代理和动态IP代理的区 ...