python文件下载不全_python requests 下载大文件不完整

目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份.

使用的是

Python 2.7.10

requests 2.8.1

目前碰到一个情况, 使用 requests 下载大文件的时候会出现下载文件不完整的情况, 出现的概率非常大, 应该不会是网络原因导致的. 相关代码概括如下:

requests.adapters.DEFAULT_RETRIES = 5

response = requests.get(url, stream=True)

status = response.status_code

if status == 200:

total_size = int(response.headers['Content-Length'])

with open('xxx', 'wb') as of:

for chunk in response.iter_content(chunk_size=102400):

if chunk:

of.write(chunk)

下载完毕后我会使用如下方式和上面的 total_size 进行对比

with open('xxx', 'r') as f:

if isinstance(f, file):

length = os.fstat(f.fileno()).st_size

if total_size == length:

True

else:

False

代码逻辑如上. 但是对于 100M 以上的文件, 几乎都是保存在本地的文件和获取的响应头里面的 content-length 不一致.

是我 requests 的用法不对吗? 还是有其他更好的办法可以保证文件能完整的下载呢?

python文件下载不全_python requests 下载大文件不完整相关推荐

python requests下载文件很慢-python requests 下载大文件不完整
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份. 使用的是 Python 2.7.10 requests 2.8.1 目前碰到一个情况, 使用 requests 下载大文件的时候会出现 ...
python下载大文件-python requests 下载大文件不完整
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份. 使用的是 Python 2.7.10 requests 2.8.1 目前碰到一个情况, 使用 requests 下载大文件的时候会出现 ...
requests下载大文件_11种方法教你用Python高效下载资源！
在本教程中,你将学习如何使用不同的Python模块从web下载文件.此外,你将下载常规文件.web页面.Amazon S3和其他资源. 最后,你将学习如何克服可能遇到的各种挑战,例如下载重定向的文件. ...
Apache站点下载大文件不完整原因及解决办法（128M自动中断）
学习网址:www.only-softs.com 问题: 使用浏览器(如IE等)直接下载大于1G的大文件,浏览器下载至128M自动中断. 解决方法: 只要把Apache的配置文件httpd.conf里& ...
python 下载大文件
python 下载大文件文件过大,建议用迅雷下载大文件 import os import time import requests# 下载大文件 def download_data(url, pa ...
python断点续传下载_Python 3 爬虫｜第12章：并发下载大文件支持断点续传
1. stream 流式下载大文件 1.1 stream=True 和 iter_content() 我们将继续使用 Python 3 爬虫|第3章:同步阻塞下载所搭建的测试环境,在 Nginx 默 ...
Python requests下载超大文件/批量下载文件
(一)下载超大文件: 使用 python 下载超大文件,直接全部下载,文件过大,可能会造成内存不足,这时候要使用 requests 的 stream 模式主要代码如下 iter_content:一块 ...
python下载大文件-使用请求在python中下载大文件
请求是一个非常好的库.我想用它下载大文件(>1GB).问题是不可能将整个文件保存在内存中,我需要将其分块读取.以下代码有问题 1 2 3 4 5 6 7 8 9 10 11import requ ...
使用请求在python中下载大文件
本文翻译自:Download large file in python with requests Requests is a really nice library. 请求是一个非常不错的库. I' ...

python文件下载不全_python requests 下载大文件不完整

python文件下载不全_python requests 下载大文件不完整相关推荐

最新文章

热门文章