python下载大文件-python requests 下载大文件不完整

目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份.

使用的是

Python 2.7.10

requests 2.8.1

目前碰到一个情况, 使用 requests 下载大文件的时候会出现下载文件不完整的情况, 出现的概率非常大, 应该不会是网络原因导致的. 相关代码概括如下:

requests.adapters.DEFAULT_RETRIES = 5

response = requests.get(url, stream=True)

status = response.status_code

if status == 200:

total_size = int(response.headers['Content-Length'])

with open('xxx', 'wb') as of:

for chunk in response.iter_content(chunk_size=102400):

if chunk:

of.write(chunk)

下载完毕后我会使用如下方式和上面的 total_size 进行对比

with open('xxx', 'r') as f:

if isinstance(f, file):

length = os.fstat(f.fileno()).st_size

if total_size == length:

True

else:

False

代码逻辑如上. 但是对于 100M 以上的文件, 几乎都是保存在本地的文件和获取的响应头里面的 content-length 不一致.

是我 requests 的用法不对吗? 还是有其他更好的办法可以保证文件能完整的下载呢?

python下载大文件-python requests 下载大文件不完整相关推荐

python requests 上传文件_Python requests上传文件实现步骤
工作中涉及到一个功能,需要上传附件到一个接口,接口参数如下: 使用http post提交附件 multipart/form-data 格式,url : http://test.com/flow/upl ...
python下载链接下载文件_python从下载链接下载文件到本地
1.需要的python库 requests 2.代码(复制可用)#引用 requests文件 import requests #下载地址 Download_addres='https://nj02cm ...
python实现千千音乐mp3下载
文章来源:https://www.bobobk.com/216.html 进入千千音乐主页面,选择周杰伦的音乐告白气球,发现竟然是2016年的音乐试听都木有,悲伤.那么有没有办法可以获取到mp3文件呢 ...
Python使用requests库post文件multipart编码格式
步骤构造要发送的文件数据元组,可一次发送多个文件调用requests.post发出文件 url = 'https://xxxx.org/' multiple_files = [('images', ...
Python 深入浅出 - 网络请求库 Requests
Requests 是用 Python 语言编写的,基于 urllib,采用 Apache2 Licensed 开元协议的 HTTP 库,它比 urllib 更加方便,编写爬虫和测试服务器响应数据时经常 ...
python requests下载文件很慢-python requests 下载大文件不完整
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份. 使用的是 Python 2.7.10 requests 2.8.1 目前碰到一个情况, 使用 requests 下载大文件的时候会出现 ...
requests下载大文件_11种方法教你用Python高效下载资源！
在本教程中,你将学习如何使用不同的Python模块从web下载文件.此外,你将下载常规文件.web页面.Amazon S3和其他资源. 最后,你将学习如何克服可能遇到的各种挑战,例如下载重定向的文件. ...
python文件下载不全_python requests 下载大文件不完整
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份. 使用的是 Python 2.7.10 requests 2.8.1 目前碰到一个情况, 使用 requests 下载大文件的时候会出现 ...
python下载大文件-python 大文件
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 大文件上传服务一.前端(http:fex.baidu.comwebuploade ...

python下载大文件-python requests 下载大文件不完整

python下载大文件-python requests 下载大文件不完整相关推荐

最新文章

热门文章