Scrapy研究和探索(七)——如何防止被ban大集合策略
说来设置的尝试download_delay少于1,不管对方是什么,以防止ban策略后。我终于成功ban该。
大约scrapy利用能看到以前的文章:
http://blog.csdn.net/u012150179/article/details/34913315
http://blog.csdn.net/u012150179/article/details/34486677
http://blog.csdn.net/u012150179/article/details/34441655
http://blog.csdn.net/u012150179/article/details/32911511
敌退我进,敌攻我挡。
本篇博客主要研究使用防止被ban的几大策略以及在scrapy中的使用。
1.策略一:设置download_delay
这个在之前的教程中已经使用过(http://blog.csdn.net/u012150179/article/details/34913315),他的作用主要是设置下载的等待时间,大规模集中的訪问对server的影响最大,相当与短时间中增大server负载。
下载等待时间长,不能满足段时间大规模抓取的要求,太短则大大添加了被ban的几率。
使用注意:
download_delay能够设置在settings.py中,也能够在spider中设置,在之前博客中(http://blog.csdn.net/u012150179/article/details/34913315)已经使用过,这里不再过多阐述。
2.策略二:禁止cookies
所谓cookies,是指某些站点为了辨别用户身份而储存在用户本地终端(Client Side)上的数据(通常经过加密)。禁止cookies也就防止了可能使用cookies识别爬虫轨迹的站点得逞。
使用:
在settings.py中设置COOKIES_ENABLES=False。
也就是不启用cookies middleware,不想web server发送cookies。
3.策略三:使用user agent池
所谓的user agent,是指包括浏览器信息、操作系统信息等的一个字符串,也称之为一种特殊的网络协议。server通过它推断当前訪问对象是浏览器、邮件client还是网络爬虫。在request.headers能够查看user agent。例如以下。使用scrapy shell查看:
scrapy shell http://blog.csdn.net/u012150179/article/details/34486677
进而输入例如以下。可得到uesr agent信息:
由此得到,scrapy本身是使用Scrapy/0.22.2来表明自己身份的。这也就暴露了自己是爬虫的信息。
使用:
首先编写自己的UserAgentMiddle中间件,新建rotate_useragent.py,代码例如以下:
# -*-coding:utf-8-*-from scrapy import log"""避免被ban策略之中的一个:使用useragent池。
使用注意:需在settings.py中进行对应的设置。
""" import random from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware class RotateUserAgentMiddleware(UserAgentMiddleware): def __init__(self, user_agent=''): self.user_agent = user_agent def process_request(self, request, spider): ua = random.choice(self.user_agent_list) if ua: #显示当前使用的useragent print "********Current UserAgent:%s************" %ua #记录 log.msg('Current UserAgent: '+ua, level='INFO') request.headers.setdefault('User-Agent', ua) #the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape #for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php user_agent_list = [\ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 " "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24" ]
建立user agent池(user_agent_list)并在每次发送request之前从agent池中随机选取一项设置request的User_Agent。
编写的UserAgent中间件的基类为UserAgentMiddle。
除此之外。要在settings.py(配置文件)中禁用默认的useragent并启用又一次实现的User Agent。配置方法例如以下:
#取消默认的useragent,使用新的useragent
DOWNLOADER_MIDDLEWARES = {'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,'CSDNBlogCrawlSpider.spiders.rotate_useragent.RotateUserAgentMiddleware' :400}
至此配置完成。
如今能够执行看下效果。
能够发现一直在变化的UserAgent。
4.策略四:使用IP池
web server应对爬虫的策略之中的一个就是直接将你的IP或者是整个IP段都封掉禁止訪问,这时候,当IP封掉后。转换到其它的IP继续訪问就可以。
能够使用Scrapy+Tor+polipo
配置方法与使用教程可參见:http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/。有时间我会翻译过来。
5.策略五:分布式爬取
这个,内容就很多其它了,针对scrapy。也有相关的针对分布式爬取的GitHub repo。
能够搜一下。
原创,转载请注明:http://blog.csdn.net/u012150179/article/details/35774323
版权声明:本文博客原创文章,博客,未经同意,不得转载。
Scrapy研究和探索(七)——如何防止被ban大集合策略相关推荐
- Scrapy研究探索(六)——自动爬取网页之II(CrawlSpider)
原创,转载注明: http://blog.csdn.net/u012150179/article/details/34913315 基于上面的博客修改而得 一 目的 在教程(二)中使用基于Spider ...
- scrapy爬虫学习系列七:scrapy常见问题解决方案
scrapy爬虫学习系列七:scrapy常见问题解决方案 参考文章: (1)scrapy爬虫学习系列七:scrapy常见问题解决方案 (2)https://www.cnblogs.com/zhaoji ...
- [Ext]2.0探索(七)Grid使用介绍
[Ext]2.0探索(七)Grid使用介绍 2008年07月01日 星期二 15:25 Ext2.0框架的Grid使用介绍 最近空闲时间在学习Ext2.0框架,只有一个字的感叹"强& ...
- 基于区块链的大数据交易模式研究与探索
点击上方蓝字关注我们 基于区块链的大数据交易模式研究与探索 李源1, 高宁1, 孙晶1,2, 赵会群1 1 北方工业大学信息学院,北京 100144 2 北方工业大学大规模流数据集成与分析技术北京市重 ...
- 经典算法研究系列:七、深入浅出遗传算法
经典算法研究系列:七.深入浅出遗传算法 作者:July 二零一一年一月十二日. 本文参考:维基百科 华南理工大学电子讲义 互联网 ----------------- ...
- 计算机通识必修课程学什么内容,计算机通识课程教学平台的研究与探索——以民办大学为例.pdf...
2017年第1期 吉林省教育学院学报 No.1,2017 第33卷 JOURNAL OF EDUCATIONAL INSTITUTE OF JILIN PROVINCE Vol.33 (总第433期) ...
- 计算机网络课程改革,计算机网络课程改革研究与探索.pdf
计算机网络课程改革研究与探索.pdf 第27卷 第 8期 赤峰 学 院 学报 (自然科 学版 ) V01.27No.8 2011年 8月 JournalofChifengUniversity(Natu ...
- 咸宁书写桂花产业-国情研究·万祥军:特色农业谋定大健康
咸宁书写桂花产业-国情研究·万祥军:特色农业谋定大健康 新闻中国采编网 中国新闻采编网 谋定研究中国智库网 经信研究 国研智库 国情讲坛 万赢信采编:"咸宁市发展楠竹产业和桂花产业,要以市场 ...
- 程序员面试、算法研究、编程艺术、红黑树4大系列集锦与总结
程序员面试.算法研究.编程艺术.红黑树4大经典原创系列集锦与总结 作者:July--结构之法算法之道blog之博主. 时间:2010年10月-2011年6月. 出处:http://blog.csdn. ...
最新文章
- python如何下载tushare_安装tushare
- mysql的部分命令图解
- web测试点总结---UI、兼容、功能、交互、安全、性能、接口测试
- nginx在linux自动启动脚本,nginx的自动启动脚本
- spring学习(2):初始化spring程序
- LeetCode 64 最小路径和
- 借百度数据,建立你自己的程序
- ibm mq qname java_IBMMQ 从队列获取消息并将消息发送到特定主题上面
- 如何将SQL Server 2017主数据服务模型迁移到另一台服务器
- Homebrew 插件自启动
- html5游戏技术指标,2019上半年手游指标报告:Day 1留存率低于30%不及格?
- ecshop源码分析-ecshop二次开发
- office 2010安装包
- 【华为交换机】STP生成树协议端口选举详解
- 免费的中文语音数据集汇总列表
- AUTOCAD Study
- #SpringBoot#阿里云服务器#将微信小程序后端代码部署到阿里云服务器 http转https
- Flutter水波纹效果
- 奈奎斯特与香农定理_这样解释奈奎斯特定理和香农定理,初学者也能明白
- 【入门PCB】立创eda的学习
热门文章
- 贝叶斯网络/深度信念网络学习
- JavaScript学习一
- 遍历目录寻找指定文件
- Codeforces40E[Number Table]
- react+webpack 引入字体图标
- ExtJs计算两个DateField所间隔的月份(天数) new Date(str) IE游览器提示NaN 处理...
- IIS弹出服务没有及时响应启动或控制请求
- python asyncio回调函数_最近用 Python 的 asyncio,有好多不懂。。
- dbeaver连接mysql 驱动jar_Jmeter(七) 从入门到精通 建立数据库测试计划实战lt;MySQL数据库gt;(详解教程)...
- python字典程序题_python字典练习题