用代理服务器加速爬虫速率

我在爬数据的时候发现绝大多数目标网站都具有反爬虫策略，最简单的反爬虫策略包括限制单位时间内同一ip的访问次数，或同一个登陆账户的访问次数（通过cookies实现）。例如新浪微博两者都有，网易新闻限制了ip访问次数等。

对于新浪微博，我的策略是申请了几十个微薄帐号，在分布式框架下通过十几台计算机（独立ip）进行轮爬。没有用代理服务器的方法，是因为代理服务器大多不是本地ip，如果一个用户帐号被发现经常在不同地区登陆，会被要求进行验证码验证，而在python下添加自动验证码验证的识别率不高，所以放弃了。值得一提的时，本来goagent在美国有一个代理网段是可以用来加速的，但是我太激进，没有设置请求间隔，一晚上爬了十几万个页面，造成以后挂那个网段的代理都被要求验证码验证。

对于网易新闻这类不严格要求登陆的网站，就可以用不同地区的公开代理服务器进行加速了，甚至国外地址都没有问题。他们自己的PM说不定还会兴高采烈地跟上层汇报产品的国际访问量大幅上升，呵呵。

公开的代理服务器很多，而且一些黑客站点会将其公开出来，类似地有挂在Russia的：proxylist 和国内的 cn-proxy . 里面的代理地址一般保持5分钟更新。另外要注意的是，这些代理服务器不一定能够访问你的目标网站，所以最好把他们都搜集下来，维护一个列表，在启动爬虫之前用目标网站的一个页面测试一下。

下面我把自己的测试方法给出来，ProxyData.py是反馈ip地址的，ProxyFind.py是通过多线程方法来测试代理的访问速度，如果不用多线程测试万数千个代理可能需要若干小时时间…

    #ProxyData.py#省略了好几千个代理，大家自己去搜集列表吧proxies = ['117.135.250.134:80','117.135.250.133:8083','117.135.250.130:84','117.135.251.132:83','117.135.250.134:8083'] def getProxies():temp = []for item in proxies:ip, port = item.split(':')temp.append([ip, port])return temp

多线程测试，如果通过测试则inserDB()：

    #ProxyFind.pyimport ProxyDataclass ProxyCheck(threading.Thread):def __init__(self,proxyList):threading.Thread.__init__(self)self.proxyList = proxyListself.timeout = 20#测试的是能否得到网易新闻跟帖self.testUrl = 'http://comment.news.163.com/api/v1/products/a2869674571f77b5a0867c3d71db5856/threads/BAHNKE3400014PRF/comments/newList?offset=0&limit=30&showLevelThreshold=72&headLimit=1&tailLimit=2&callback=getData&ibc=newspc'#self.testStr = r'<a href="http://[\S]*\.html">'self.testStr = r'getData'def checkProxy(self):cookies = urllib2.HTTPCookieProcessor()for proxy in self.proxyList:proxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(proxy[0],proxy[1])})opener = urllib2.build_opener(cookies,proxyHandler)opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0')]t1 = time.time()try:req = opener.open(self.testUrl, timeout=self.timeout)result = req.read()#print result#print resulttimeused = time.time() - t1pos = re.findall(self.testStr, result)#print posif len(pos) > 0:checkedProxy.append((proxy[0],proxy[1],timeused))else:continue#print len(checkedProxy)except Exception,e:continuedef run(self):self.checkProxy()   if __name__ == "__main__":rawProxyList = ProxyData.getProxies()getThreads = []checkThreads = []print 'checking...'for i in range(100):t = ProxyCheck(rawProxyList[((len(rawProxyList)+99)/100) * i:((len(rawProxyList)+99)/100) * (i+1)])checkThreads.append(t)for i in range(len(checkThreads)):checkThreads[i].start()for i in range(len(checkThreads)):checkThreads[i].join()print '.'*10+"总共有%s个代理通过校验" %len(checkedProxy) +'.'*10insertDB(checkedProxy)

得到可用的代理服务器列表之后，就是构造urllib2的opener来请求数据了，替换其中的ip和port变量：

    import urllib2import cookielibproxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(ip,port)})cj = cookielib.CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj), proxyHandler)opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0'), ('Accept','text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'),('Host', 'comment.' + category + '.163.com'),('Accept-Encoding', 'gzip,deflate')]response = opener.open(target_url, timeout=20)

用代理服务器加速爬虫速率相关推荐

使用Socks5代理加速爬虫访问的方法
在进行网络爬虫开发的过程中,我们常常需要使用代理来模拟不同地区.不同网络环境的访问情况.而Socks5代理相比HTTP代理,更具有一些优势,例如可以实现UDP流量的转发,支持用户名密码认证等功能.本文 ...
python爬虫代理服务器_Python爬虫之服务器：代理IP万能
最近很多同学租服务器用来学习爬虫,对于大部分小白来说,爬虫非常复杂.技术门槛很高.但我们可以通过爬虫获取大量的价值数据,经分析可以发挥巨大的价值,比如:豆瓣.知乎,爬取优质答案,筛选出各话题下热门内容 ...
巧用搜狗浏览器的代理服务器加速上网
本文转载自: 邹宇华的巧用搜狗浏览器的代理服务器加速上网. 相信很多朋友.特别是校内的同学越来越趋向于使用搜狗浏览器来上网,因为搜狗有内置的全网加速功能,访问公网.国外网站十分快速方便.不过在教育网 ...
python爬虫代理服务器_Python爬虫多线程抓取代理服务器
Python作为一门功能强大的脚本语言来说,经常被用来写爬虫程序,下面是Python爬虫多线程抓取代理服务器首先通过谷歌把包含代理服务器地址的网页查出来,我选择从 http://www.88181. ...
记录一下HALCON调用相机自带驱动加速采集速率
遇到图片分辨率太高,导致HALCON采集速率跟不上的问题,用的是海康机器人的相机,它驱动里面带有动态库hAcqMVision.dll,只要把它拷贝到HALCON的bin目录下,HALCON就可以识别到 ...
python网络爬虫代理服务器_python爬虫如何抓取代理服务器
一年前突然有个灵感,想搞个强大的网盘搜索引擎,但由于大学本科学习软件工程偏嵌入式方向,web方面的能力有点弱,不会jsp,不懂html,好久没有玩过sql,但就是趁着年轻人的这股不妥协的劲儿,硬是把以 ...
如何使用爬虫(Python篇)
爬虫(又称网络爬虫,网页爬虫)是一种自动地访问网站的软件系统,它常常被用来爬取网站上的信息.爬虫可以在网站更新时自动发现新的网页,或者当网站搜索引擎索引需要更新时使用. 爬虫的工作流程通常如下: 从某 ...
爬虫养成记--千军万马来相见（详解多线程）
本文由图雀社区[1]成员灿若星空[2] 写作而成,欢迎加入图雀社区,一起创作精彩的免费技术教程,予力编程行业发展. 如果您觉得我们写得还不错,记得点赞 + 关注 + 评论三连?????????? ...
使用Python制作爬虫程序总结
一.引言 1.什么是网络爬虫? 网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.如果把互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛,如果它 ...
Python爬虫之诗歌接龙
介绍本文将展示如何利用Python爬虫来实现诗歌接龙. 该项目的思路如下: 利用爬虫爬取诗歌,制作诗歌语料库: 将诗歌分句,形成字典:键(key)为该句首字的拼音,值(value)为该拼音对 ...

用代理服务器加速爬虫速率

用代理服务器加速爬虫速率相关推荐

最新文章

热门文章