爬虫进阶——解决封IP问题| 部署ADSL服务器获取动态IP

1.问题背景

我们公司需要到某环保平台爬取环保信息，但平台那边先从封cookie开始，后来又封IP，目前又开始封账号。。本章就讲讲封IP问题的一个解决策略——部署ADSL服务器吧。

ADSL服务器是什么，我在这里就不详说了，可以百度下，总结来说，就是可以通过不断的拨号断开宽带连接，从而获取新的IP。

我们老板是一个善良的人，嗯嗯，要求很明确，一是爬虫脚本能运行稳定，二是成本低（泻药。。。），然后我和另外一个同事一同测试ip代理和ADSL服务器，发现，ADSL动态拨号还是相当稳定的，于是果断选择ADSL。

ADSL服务器不但便宜，而且稳定，但比较头疼的是，服务器需要我们自己部署，折腾了好几天，总算解决了各种问题，需要考虑的问题有以下几个方面：

如何部署ADSL服务器；
如何才能让ADSL服务器动态拨号，获取新的IP；
如何才能让公司的脚本自动获取远程ADSL服务器的IP；
【需要认真琢磨的】怎样对脚本改进，使得能够实现对IP的最大利用。

2.部署ADSL服务器环境

我使用的是云立方的动态拨号服务，预装的系统是ubuntu14.04,因为个人熟悉的原因。如果你喜欢Centos或者windows，也可以。以下是折腾几天部署服务器的总结：

目前使用的是云立方平台提供的ADSL动态拨号服务。
URL: https://www.yunlifang.cn/
Account: 账户名：XXXX  密码：XXXX 自己注册下吧。 0.远程登录
ssh root@远程ip -p 端口号
1.TinyProxy安装，在安装前应该先adsl-start打开网络，否则安装包无法更新。
adsl-start
sudo apt-get update
apt-get install tinyproxy注：在云立方ADSL服务器中， adsl-start/stop是pppoe-start/stop的别名，是shell命令。2.然后配置参数文件：
vi /etc/tinyproxy.conf3.修改下面两个部分。
Port 8888      #预设是8888端口
Allow 127.0.0.1     #将127.0.0.1改成你自己的IP，只有这个IP才能连接，前面打#注释掉则所有人都可以连接4.TinyProxy打开与关闭
service tinyproxy start/restart/stop5.在sender.py文件目录下发送文件到远程服务器根目录下
scp -P 20133 sender.py root@58.211.138.107:~/6.安装依赖的包文件
apt-get install python3-pip
pip3 install requests[
进程查看命令
ps -ef | grep python/ppp
]7.在运行sender.py文件前务必关闭防火墙
sudo apt-get install ufw
sudo ufw disable8.运行sender2.py
python3 sender2.py便可获取新的ip9.有时会遇到多个ppp的问题，这是由于ppp进程冲突导致的，解决方法是重启服务器，
reboot10.有时会遇到adsl-start超时问题，重启也无法解决，貌似是宽带的问题，还是直接问云立方客服吧， QQ：4006677945。

3.如何才能让ADSL服务器动态拨号，获取新的IP

不说废话了，在2里第8个步骤我已经提示了下，就是通过运行sender2.py这个脚本，从而实现ip的自动更换，下面直接粗暴的贴上代码，核心代码就是 pppoe-start/stop，执行一次脚本后，就能实现动态拨号：

import subprocess
import re
import requests
import time# 拨号网卡
ADSL_IFNAME = 'ppp1'
# 测试URL
TEST_URL = 'http://www.baidu.com'
# 测试超时时间
TEST_TIMEOUT = 5
# 拨号出错重试间隔
ADSL_ERROR_CYCLE = 3
# ADSL命令
ADSL_BASH_STOP = 'pppoe-stop'
ADSL_BASH_START = 'pppoe-start'
# 代理运行端口
PROXY_PORT = 8888
# 客户端唯一标识
CLIENT_NAME = 'adsl1'class Sender(object):def get_ip(self, ifname=ADSL_IFNAME):"""获取本机ip:param ifname: 网卡名称:return:"""(status, output) = subprocess.getstatusoutput('ifconfig')if status == 0:print(output)result = re.findall(ifname + '.*?inet addr:.*?(\d+\.\d+\.\d+\.\d+)', output, re.S | re.I)if result:ip = result[0]return ipdef test_proxy(self, proxy):"""测试代理:param proxy: 代理:return: 测试结果"""try:response = requests.get(TEST_URL, proxies={'http': 'http://' + proxy,'https': 'https://' + proxy}, timeout=TEST_TIMEOUT)if response.status_code == 200:return Trueexcept Exception as e:print(e)return Falsedef adsl(self):"""拨号主进程:return: None"""print('ADSL Start, Remove Proxy, Please wait')subprocess.getstatusoutput(ADSL_BASH_STOP)time.sleep(0.5)(status, output) = subprocess.getstatusoutput(ADSL_BASH_START)print('status', status, 'output', output)if status == 0:print("ADSL successfully")ip = self.get_ip()if ip:print('Now IP', ip)print('Testing Proxy, Please wait')proxy = '{ip}:{port}'.format(ip=ip, port=PROXY_PORT)while True:if self.test_proxy(proxy):print('Valid Proxy')breakelse:print('Invalid Proxy')print('Sleeping')subprocess.getstatusoutput('service tinyproxy stop')time.sleep(0.5)subprocess.getstatusoutput('service tinyproxy restart')else:print('Get IP Failed, Redailing')if __name__ == '__main__':sender = Sender()sender.adsl()

4.如何才能让公司的脚本自动获取远程ADSL服务器的IP

24点了...困了，有时间补上。。。提示：在本地运行一个获取ip脚本，用到的主要模块是paramiko...