python scrapy的crapy.core.downloader.handlers.http11] WARNING: Received more bytes than download 错误

python scrapy框架的爬虫遇到下面的错误，一直没查找到解决的办法，请求大佬指教。

在爬取http://firmware.koolshare.cn/网站的时候遇到异常。

2018-10-15 22:07:57 [scrapy.core.downloader.handlers.http11] WARNING: Received more bytes than download warn size (33554432) in request <GET http://firmware.koolshare.cn/LEDE_X64_fw867/openwrt-koolshare-mod-v2.23-r8972-e25927a06f-x86-64-uefi-gpt-squashfs.img.gz>.
2018-10-15 22:08:03 [scrapy.core.downloader.handlers.http11] WARNING: Received more bytes than download warn size (33554432) in request <GET http://firmware.koolshare.cn/LEDE_X64_fw867/openwrt-koolshare-mod-v2.22-r8838-af7317c5b6-x86-64-combined-squashfs.img.gz>.
2018-10-15 22:08:06 [scrapy.core.downloader.handlers.http11] WARNING: Received more bytes than download warn size (33554432) in request <GET http://firmware.koolshare.cn/LEDE_X64_fw867/openwrt-koolshare-mod-v2.23-r8972-e25927a06f-x86-64-combined-squashfs.img.gz>.
2018-10-15 22:08:09 [scrapy.core.downloader.handlers.http11] WARNING: Received more bytes than download warn size (33554432) in request <GET http://firmware.koolshare.cn/LEDE_X64_fw867/openwrt-koolshare-mod-v2.22-r8838-af7317c5b6-x86-64-uefi-gpt-squashfs.img.gz>.
2018-10-15 22:08:18 [scrapy.extensions.logstats] INFO: Crawled 125 pages (at 125 pages/min), scraped 100 items (at 100 items/min)
2018-10-15 22:08:24 [scrapy.core.scraper] ERROR: Spider error processing <GET http://firmware.koolshare.cn/LEDE_X64_fw867/openwrt-koolshare-mod-v2.23-r8972-e25927a06f-x86-64-combined-squashfs.img.gz> (referer: http://firmware.koolshare.cn/LEDE_X64_fw867/)

前面的获取结果正常，后面的异常。

请求大佬指教！

python scrapy的crapy.core.downloader.handlers.http11] WARNING: Received more bytes than download 错误相关推荐

python scrapy 入门,10分钟完成一个爬虫
在TensorFlow热起来之前,很多人学习python的原因是因为想写爬虫.的确,有着丰富第三方库的python很适合干这种工作. Scrapy是一个易学易用的爬虫框架,尽管因为互联网多变的复杂性仍 ...
Python Scrapy爬虫框架实战应用
通过上一节<Python Scrapy爬虫框架详解>的学习,您已经对 Scrapy 框架有了一个初步的认识,比如它的组件构成,配置文件,以及工作流程.本节将通过一个的简单爬虫项目对 Scr ...
Python Scrapy爬虫实战（1）：豆瓣网站图书信息案例- Scrapy初体验
Scrapy,Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试.Scrapy吸引人的 ...
Python Scrapy 爬虫框架爬取推特信息及数据持久化！整理了我三天！
最近要做一个国内外新冠疫情的热点信息的收集系统,所以,需要爬取推特上的一些数据,然后做数据分类及情绪分析.作为一名合格的程序员,我们要有「拿来主义精神」,借助别人的轮子来实现自己的项目,而不是从头搭建 ...
python scrapy爬取智联招聘的公司和职位信息（一）
这个帖子先暂时放弃.本以为和拉钩一样全是静态页面,结果在写item的时候,发现网页有点意思,突然有个大胆的想法,想试试-先埋坑,后面在填坑缘由: 最近在找工作发现智联和51上太多培训机构的虚假招聘信 ...
python中scrapy框架_简述python Scrapy框架
一.Scrapy框架简介 Scrapy是用纯Python实现一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛.利用框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网 ...
崔老哥python scrapy爬虫框架入门
Scrapy 爬虫框架入门案例详解 Scrapy入门创建项目创建Spider 创建Item 解析Response 使用Item 后续Request 保存到文件使用Item Pipeline 源代 ...
使用python scrapy爬取全国小区信息（包括小区价格，经纬度，面积，户数等），并保存到mysql和excel
目标此次爬取的网站是楼盘网,因为只爬取小区信息,所以先从深圳小区(http://sz.loupan.com/community/)网页入手分析,然后发散爬取至全国. 爬取的信息包括省,所属市,所属 ...
pythonscrapy框架_简述python Scrapy框架
一.Scrapy框架简介 Scrapy是用纯Python实现一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛.利用框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网 ...

python scrapy的crapy.core.downloader.handlers.http11] WARNING: Received more bytes than download 错误

python scrapy的crapy.core.downloader.handlers.http11] WARNING: Received more bytes than download 错误相关推荐

最新文章

热门文章