Python 批量获取代理服务器IP并测试

转载：http://blog.csdn.net/abcamus/article/details/52993711

#-*-coding:utf-8 -*-
import urllib2
import BeautifulSoup
import codecsUser_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
header = {}
header['User-Agent'] = User_Agenturl = 'http://www.xicidaili.com/nn/1'
req = urllib2.Request(url,headers=header)
res = urllib2.urlopen(req).read()soup = BeautifulSoup.BeautifulSoup(res)
ips = soup.findAll('tr')
f = codecs.open("./proxy","w", 'utf-8')for x in range(1, len(ips)):ip = ips[x]tds = ip.findAll("td")ip_temp = tds[1].contents[0]+"\t"+tds[2].contents[0]+"\n"f.write(ip_temp)
f.close()import urllib
import socket
socket.setdefaulttimeout(3)
f = open("./proxy")
fd_proxy = codecs.open("./access.txt", "w", 'utf-8')
lines = f.readlines()
proxys = []
for i in range(0, len(lines)):ip = lines[i].strip("\n").split("\t")proxy_host = "http://" + ip[0] + ":" + ip[1]proxy_temp = {"http":proxy_host}proxys.append(proxy_temp)
url = "http://ip.chinaz.com/getip.aspx"
for proxy in proxys:try:res = urllib.urlopen(url,proxies=proxy).read()fd_proxy.write(proxy["http"]+"\n")print resexcept Exception,e:print proxyprint econtinue
f.close()
fd_proxy.close()

我们获取的代理服务器网址位于 http://www.xicidaili.com/nn/1

里面会经常更新可用的代理服务器ip，如图所示

在safari浏览器页面右键弹出快捷菜单，选择显示页面源文件就能看到如下界面：

我们先获得tr字段，然后从tr字段中选择ip地址所在的td字段就能把代理服务器地址给提取出来，同样的方法提取端口号，然后保存为文件proxy。

保存下来后，不能保证每一个代理服务器地址都是可以连接的，需要进行测试，后半部分代码就是把保存在proxy文件中的ip地址一个个拿出来，通过访问页面 http://ip.chinaz.com/getip.aspx 进行测试。

Python 批量获取代理服务器IP并测试相关推荐

python批量telnet检测IP地址的端口是否开放
python批量telnet检测IP地址的端口是否开放需求代码示例需求需要检查多个端口是否开放,没有找到第三方工具和服务来快速测通,就自己用python写了个脚本.原理是通过telnet来实 ...
【ArcGIS遇上Python】python批量获取栅格数据四至（top，bottom，left，right）坐标代码
上图所示为ArcGIS自带的影像数据,存放路径为C:\Program Files (x86)\ArcGIS\Desktop10.6\ArcGlobeData\wsiearth.tif",在源 ...
python经纬度获取县名_利用 Python 批量获取县镇运输距离
起因最近做规划项目,领导让查出某几个市的所有乡镇级行政区域,距离所在县级行政中心的交通运输距离.想着也不是啥难事儿,高德地图一搜就有. 当我把各市行政区划统计完,发现一共有五百多个乡镇,意味着要在地 ...
极速系列04—python批量获取word/PDF/网页中的表格
这里写目录标题 1 python批量获取word中的表格目的: 1.1 简介 1.2 读取word文档内容方法一方法二 2 python批量获取PDF中的表格目的: 2.1 简介 2.2 读取 ...
用python批量获取cad中线段点组成的凸包 + 面积
用python批量获取cad中线段点组成的凸包 + 面积效率实在太低,还是用c# 吧 import win32com.client import pythoncom import tubao imp ...
使用python多线程获取代理IP（代理IP池，附源码）
@[TOC]使用python多线程获取代理IP(代理IP池,附源码) 代理IP池都说现在是大数据的时代,大多数的厂商会特别的注重自己家的数据安全问题,但同时,也有着许多的行业是需要大数据来做支撑的, ...
『Tricks』用Python批量获取地理位置的经纬度信息
利用Python来批量自动获取指定位置的经纬度信息,并且将之保存到csv文件中. 文章目录接口申请获取经纬度用apply()实现批量获取小提示参考文章接口申请首先,我们需要一个接口, ...
Python 批量获取今日头条街拍美图
大家好,在以前的文章中我们学了Ajax数据获取,这篇文章我们以今日头条为例,通过分析Ajax请求来抓取今日头条的街拍美图,并将图片下载到本地保存下来. 准备好没,我们现在开始!喜欢记得收藏.点赞.关注 ...
Python批量获取基金季报
大家好,我是小一最近研究基金的时候,突然对今年来收益最高的基金有点好奇,于是去翻了翻该基金的业绩报告. 好家伙,今年来收益接近30%了,这还是最近一段时间回调了,如果在9月初那会,净值最高冲到了2. ...

Python 批量获取代理服务器IP并测试

Python 批量获取代理服务器IP并测试相关推荐

最新文章

热门文章