scrapy下载大文件失败问题

利用scrapy下载大量大尺寸图片及视频时有时会报错，显示放弃重试，用户连接时间超过180s导致失去连接如下

Gave up retrying <GET url> (failed 3 times): User timeout caused connection failure: Getting url took longer than 180.0 seconds..

这是由于scrapy并发请求过多，默认情况下会同时下载16个文件，而连接时间默认超过三分钟就会丢失。就是说如果三分钟之内你的网速没法支持你同时下载完16个文件的话就会造成这个问题。

解决方法就是在settings.py中将默认并发连接数调小或者将timeout时间调大

CONCURRENT_REQUESTS = 2

DOWNLOAD_TIMEOUT=1800

此时并发请求被调成2，等待时间被1800秒，一般的小视频和图片是没有问题了。

scrapy下载大文件失败问题相关推荐

php 7.0 readfile_php readfile下载大文件失败的解决方法
本文实例讲述了php readfile下载大文件失败的解决方法.分享给大家供大家参考,具体如下: 大文件有200多M,只下载了200K就提示下载完成,且不报错. 原因是PHP内存有限制,需要改为按块下 ...
linux下载大文件失败,Linux下FTP/SFTP传输大文件总是失败的处理办法
海外服务器,一般延迟都比较高.如果不是China Telecom/China Unicom路由直连,延迟更加的不稳定,甚至长连接会经常闪断.国内跨运营商服务器,没有BGP网关,也同样会发生这样的情况, ...
php readfile 下载大文件失败
大文件有200多M,只下载了200K就提示下载完成,且不报错. 原因是PHP内存有限制,需要改为按块下载,就是把大文件切块后逐块下载. if (file_exists($file)) {if (FAL ...
Nginx下载大文件失败
原因分析: nginx代理nginx时,前端用户请求下载文件, nginx代理会先从后端nginx拿到文件并缓存到本地,然后响应给客户端,其中与proxy buffer相关的配置项如下: proxy_ ...
php下载效率不高,解决PHP下载大文件失败，并限制下载速度
1.问题: PHP在使用readfile函数定义下载文件时候,文件不可以过大,否则会下载失败,文件损坏且不报错: 2.原因: 这个是因为readfile读取文件的时候会把文件放入缓存,导致内存溢出: ...
Android 开发工具类 27_多线程下载大文件
多线程下载大文件时序图 FileDownloader.java 1 package com.wangjialin.internet.service.downloader; 2 3 import jav ...
python断点续传下载_Python 3 爬虫｜第12章：并发下载大文件支持断点续传
1. stream 流式下载大文件 1.1 stream=True 和 iter_content() 我们将继续使用 Python 3 爬虫|第3章:同步阻塞下载所搭建的测试环境,在 Nginx 默 ...
[MAC]Google Drive下载大文件
在使用Chrome从Google Drive下载8G数据集的过程中,多次出现网络错误问题导致下载失败,特在此记录解决方法. 下载前提:已成功翻墙一.出错原因: Google Drive下载大文件的时 ...
Google Drive下载大文件问题解决办法
近期一位笨蛋找我帮忙下载一个文件,在Google Driver里,我心想这有什么难的,然鹅,问题真的就莫名其妙出现了.总大小1.8G,chrome直接下载,下载速度5MB/s,预计5分 ...

scrapy下载大文件失败问题

scrapy下载大文件失败问题相关推荐

最新文章

热门文章