proxy ip 收集方式总结

网上很多介绍获取代理的方式，首先从豆瓣的一个网页(一分钟解决“仅限中国大陆地区播放”)上看到的方式

A. http://freeproxylist.org; 下载得到的txt文件中，很多本地测试并不能用，或许失效，或许是GFW导致，网站的下载功能chrome浏览器不能成功；

B.http://www.cooleasy.com; 界面清新，并且提供的功能方便易用，试验之后，发现area为china ，united states的代理成功的可能性，速度也令人满意更好；

C.http://tools.rosinstrument.com 此网站上搜集的代理比较多样，含有域名，试验之后发现不可用，因此忽略

免费代理列表的搜索中，最后发现，国内的网站http://www.cnproxy.com，http://www.freeproxylists.net (需要专门的提取程序来获取)，提供了大量可供使用的ip地址(这两个还没有采集下来)；另外鲲鹏数据收集服务器列表: http://www.site-digger.com/html/articles/20110516/proxieslist.html , 教育网出国免费代理http://proxy.ipcn.org/proxylist2.html 搜ip：http://www.sooip.com 有些可以直接使用提供的列表来做，免去extractor的麻烦；

本来预计的收集可用proxy 的提取，要自己书写代码来实现，发现 http://proxy-list.org/en/proxy-extractor.php 或者http://freeproxylist.org/en/proxy-and-socks-extractor.htm可以直接提取，并且速度还可以；

除了代理网页的提取之外，自动的采集代理服务器ip的软件也非常值得使用，代理猎手，6点代理，亚伟代理, 网络神采, Powercap都是不错的选择；

之后对收集到txt中的proxy server进行测试，访问weibo首页超时达到10秒左右的都直接忽略，先不使用，测试的页面也就是已知微博用户的首页（因为weibo页面登录，虽然访问ip一直变幻，但是可能造成帐号被封，先使用页面内容比较多的网页进行测试，效果相同）；测试使用的代码也是python 格式，在出现异常时返回结果异常，如此找到给定数量的网页；最后的结果是国外代理推荐列表cooleasy大概10%的可用，国内的则有60%的可用；

http://www.veryhuo.com/res/ip/

转载于:https://www.cnblogs.com/operaculus/archive/2012/08/20/2647757.html

proxy ip 收集方式总结相关推荐

真实IP收集及其利用方式
0x01简介 CDN:全称Content Delivery Network,即内容分发网络,其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快.更稳定.通过在网 ...
网站分析数据收集方式详解
回顾网站数据分析历史,从"您是第***位来访用户"到现在百家齐放的专业工具提供商,网站分析已经逐渐发展衍化成一门科学.但面对形态各异的分析数据,很多人仍然困惑于数据的来源,了解数据 ...
网站分析数据（即用户行为数据）的三种收集方式详解
回顾网站数据分析历史,从"您是第***位来访用户"到现在百家齐放的专业工具提供商,网站分析已经逐渐发展衍化成一门科学.但面对形态各异的分析数据,很多人仍然困惑于数据的来源,了解数据 ...
怎么改电脑网络ip地址_抛弃重启路由器获取ip地址方式，巧妙运用ip代理改IP工具...
网络是简单的也是复杂的,在如此庞大的网络世界里有太多的不确定因素,导致我们遇到IP限制问题,从而影响到我们的网络访问,而大家都知道,如果遇到ip被限制的问题,最快速直接的办法就是把被限制的ip更换一个 ...
电脑ip地址设置_路由器动态IP和静态IP上网方式怎么设置【设置教程】
在我们设置路由器的过程中,路由器设置界面一般会给我们提供4种上网方式选项,分别是:"让路由器自动选择上网方式(推荐)"."PPPoE(ADSL虚拟拨号)".&q ...
BACnet IP通讯方式组网步骤
BACnet IP通讯方式组网步骤文章目录 BACnet IP通讯方式组网步骤前言一.配置BACnet IP网络参数二.确定DDC控制器和扩展模块的BACnet地址三.配置BACnet对象: ...
PYTHON通过TCP/IP通讯方式远程控制Epson机械臂
PYTHON通过TCP/IP通讯方式远程控制Epson机械臂一,控制器程序(server) 程序示例通讯函数: #定义TCP连接 Function connectSetNet #201, &quo ...
各平台舆情信息的收集方式方法
针对各平台舆情信息的收集其实并不容易,移动互联网再加上传统互联网,每天都在产生海量数据,这些信息被分散在互联网的各个角落里.而需要从互联网的各个角落快速.准确.全面地收集有价值的舆情信息,其难度可想而 ...
Centos 配置IP的方式
上一节我们安装Centos 7的操作系统,但是要是想真正使用系统的话,还需要手动配置IP地址,以便于可以数据通信和远程管理: 配置IP地址有两种方法: 1.DHCP获取的方式:即指通过远端DHCP服务 ...
Virtual Box 的Bridge模式下DHCP方式和静态IP设定方式的转换
记录一下Virtual Box的Bridge模式从dhcp改成静态ip方式需要修改的内容. 环境设定相关内容在如下软件版本和环境下验证通过: 软件版本 Virtual Box 5.2.6 Cent ...

proxy ip 收集方式总结

proxy ip 收集方式总结相关推荐

最新文章

热门文章