scrapy间歇性响应为空/降速/缓存

使用 scrapy访问豆瓣的搜索接口时，莫名会出现response json数据为空的情况。
加上回调重新请求 (要设置dont_filter=True 防止被过滤)，还是会出现异常。
最后发现是请求速度过快导致的。

降速：
将其中的访问速度与下载速度调整一下，具体设置：

#并发请求个数（越小越慢） 默认是16个
CONCURRENT_REQUESTS = 5#下载延迟时间（越大请求越慢）
DOWNLOAD_DELAY = 3

而对于多个spider文件需要不同的请求策略，则可以在爬虫文件中配置单独的 custom_settings:

自动限速(AutoThrottle)：

可参考文档：https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/autothrottle.html?highlight=auto#autothrottle-algorithm
该扩展能根据Scrapy服务器及您爬取的网站的负载自动限制爬取速度。
更友好的对待网站，而不使用默认的下载延迟0。自动调整scrapy来优化下载速度。

#默认False;为True表示启用AUTOTHROTTLE扩展
AUTOTHROTTLE_ENABLED = True#默认3秒;初始下载延迟时间
AUTOTHROTTLE_START_DELAY = 1#默认60秒；在高延迟情况下最大的下载延迟
AUTOTHROTTLE_MAX_DELAY = 3

httpscatch缓存：
httpscatch 对HTTP请求和响应的缓存。
如果启用 HTTPCACHE_ENABLED 的话，它会缓存每个请求和对应的响应。

HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

可参考文档：https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings

scrapy间歇性响应为空/降速/缓存相关推荐

极客日报：消息称字节国内收入降速，抖音收入停止增长；小鹏汽车创始人回应品牌名称太土；TypeScript 4.5正式版发布
一分钟速览新闻点! 美团外卖更换新logo 小鹏汽车创始人回应品牌名称太土浪潮内部通报加班语事件消息称字节国内收入降速,抖音收入停止增长网易云音乐推出摸鱼计算器 123456成今年最常用密码苹 ...
EA周报 | 苹果回应部分iPhone辐射超标；工信部：绝不会下达4G降速指令；李彦宏：百度搜索结果首条满足率达51%...
EA周报 2019年8月23日每周星期五7分钟,元宝带你喝一杯IT人的浓缩咖啡,了解天下事.掌握IT核心技术. 热点大事件华为:没有推出鸿蒙手机的计划,除非美方「断供」安卓尽管华为在大力宣传其 ...
5G来了4G降速？负载均衡链路聚合器了解一下
本文通过一种全新的简单粗暴易懂的方式(可以在这里断句)带你分析一个电子产品的需求--负载均衡链路聚合器!5G来了,还在用4G网络的你,是否感觉到网速变慢,延迟变长呢?说好的提速降费呢?降费我们感受到了 ...
新买的笔记本电脑怎么分盘_别再吐槽游戏本越玩越慢：笔记本电脑降速揭秘+散热维护小贴士...
花大价钱买的电竞本,配置越高?降速越狠? 夏天到了,日益升高的温度不会影响我们日常搞机的热情~ 新买的4核.6核.8核游戏本照样在各大游戏中征战四方. 然而,为什么明明配置很高的笔记本电脑,突然变得如 ...
消息称百度网盘青春版降速23倍：从52MB/s降至2.2MB/s
12月19日消息,近日,有消息称,百度网盘青春版(不限速)计划于12月20日开始内测,但有网友发现,百度似乎把之前内测海报中的 52MB / s 改成了 2.2MB / s,降速23倍. 此前,百度方 ...
苹果支付35亿元和解iPhone“降速门”：国内用户又被忽略了
每逢新款iPhone发布,就到了旧款iPhone的速度变慢的时候,这已经是许多iPhone手机用户的共识了. 苹果自己也承认过,为了防止设备意外关机,为了保护设备,在必要时限制了某些旧型号iPhone ...
工信部回应“网传4G降速”：从未要求运营商降速
据工信部官微消息,工业和信息化部新闻发言人.信息通信发展司司长闻库就近期网络热议的4G降速问题接受央媒采访时表示,工业和信息化部之前从未,将来也不会要求相关运营商降低或限制4G网络速率. 闻库表示,前 ...
为推广5G 4G网络降速？三大运营商回应：不存在的！
最近,5G手机相继推出,三大运营商各自公布了5G套餐的情况,关于5G的讨论一天多过一天. 对于5G使用,运营商财经网总编康钊分析称,其实,5G也不是给所有人用的,你有钱就用,没钱就别用.说得也是大实话 ...
苹果公司支付1.13亿美元和解“降速门”指控；三大运营商或于年底联合宣布5G消息商用；DBeaver 7.2.5 发布|极客头条...
整理 | 郑丽媛头图 | CSDN 下载自东方 IC 快来收听极客头条音频版吧,智能播报由出门问问「魔音工坊」提供技术支持. 「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「 ...

scrapy间歇性响应为空/降速/缓存

scrapy间歇性响应为空/降速/缓存相关推荐

最新文章

热门文章