python爬虫有的时候会遇到被禁ip的情况，这个时候你可以找一下代理网站，抓取一下ip，来进行动态的轮询就没问题了，也可以用别人做好的第三方ip代理平台，比如说crawlera，crawlera是一个利用代理IP地址池来做分布式下载的第三方平台，除了scrapy可以用以外，普通的java、php、python等都可以通过curl的方式来调用。

如果不使用第三方的平台做代理ip，我们就必须得手动抓取ip了，可以google搜索代理ip，可以找到一大堆网站，找几个稳定的代理网站，可以写一个爬虫脚本持续抓取，要是使用量不大的话，也可以手动粘贴抓取，要是土豪一点呢就买一点其实也可以，大概1块钱可以买几千个，还是挺值得的。

这时候如果你使用的是python，你需要自己维护一个ip池，控制每个ip的访问次数，随机更换ip什么的，但是如果你想做成服务化，你可以使用Squid绑定多个ip地址，做正向代理，Squid是一种在Linux系统下使用的比较优秀的代理服务器软件，把代理列表的代理ip，按照squid的cache_peer机制按照一定格式，写在配置文件中即可。

这个就相当于将管理和调度的问题全交给了squid来做，你只需要使用爬虫访问squid的服务端口就可以了。

现在可以将所有步骤归纳总结一下：

1.利用爬虫脚本每天定时抓取代理网站上的免费ip，或者买一定数量的ip，写入mongodb或者其他的数据库中，这张表作为原始表。

2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时可以利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法可以参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3.将有效的ip写入squid的配置文件，重新加载配置文件。

4.让爬虫程序去指定的squid的服务ip和端口，进行抓取。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1

使用代理服务器能否增加流量？

数据流量的获得一直以来全是许多营销运营工作人员的侧重点，代理服务器能否在这些方面具有协助呢?许多新媒体营销总结会根据发帖子的方法去吸引住粉絲，这种帖子一般都具备及时性，对于当今受欢迎的话题讨论，或是有探讨性的人物。这类种类的帖子盈利十分高，可是一旦被网址发觉是具备广告宣传特性的，都是会被删除。许多有关工作中的工作人员也发觉，假如用同一个ip发布许多同种类的帖子，很有可能这一ip都是会被网址禁掉。这个时候就必须高品质代理IP的协助了。假如想让浏览网页页面用http代理是比较简单的，最先，寻找功能强大的http代理，随后在Internet选择项中，选定“联接”菜单栏，随后点一下局域网设置，在相对的IP地址栏中填好不久寻找的http代理和端口号，点一下明确，那样就完成了网页页面的拆换。要是在网页搜索IP，就可以见到拆换后的IP了。根据更改ip的方法，我们可以提升公布帖子的高效率，也不会那么非常容易被删掉。...

[阅读全文]

2

代理服务器如何认证

代理服务器可以作为访问控制设备使用。HTTP定义了一种名为代理服务器认证(poauthentication)的机制,这种机制可以阻止对内容的请求，直到用户向代理服务器提供了有效的访问权限证书为止。1)：对受限内容的请求到达一台代理服务器时，代理服务器可以返回一个要求使用访问证书的407 Proxy Authorization Required状态码，以及一个用于描述怎样提供这些证书的Proxy-Authenticate首部字段。2)：客户端收到407响应时,会尝试着从本地数据库中，或者通过提示用户来搜集所需要的证书。3)：只要获得了证书，客户端就会重新发送请求，在Proxy-authorization首部字段中提供所要求的证书。4)：如果证书有效，代理就会将原始请求沿着传输链路向下传送，否则，就发送另一条407应答。若传输链路中有多个代理服务器，且每个代理服务器都要进行认证时，代理服务器认证通常无法很好地工作。人们建议,应该对HTTP进行升级，将认证证书与代理服务器链中特定的路标联系起来，但这些升级措施并没有得到广泛实现。...

[阅读全文]