Python:如何显示实时爬取速度和进度条？

当爬取一些视频或者大文件的时候，不知道需要等多久才能爬取完成，这时候就需要一个进度条和速度来告诉我们已经爬取多少了。这次主要通过python的requests库来实现这个小功能。示例链接：

"https://dldir1.qq.com/qqtv/TencentVideo10.14.3360.0.exe"

import requests#引入requests库
import time#引入time，计算下载时间
start = time.time()
size = 0
path = "C:/Users/23504/Desktop/Test.exe"#路径
url = "https://dldir1.qq.com/qqtv/TencentVideo10.14.3360.0.exe"
response = requests.get(url,stream = True)#stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载
chunk_size = 1024#每次块大小为1024
content_size = int(response.headers['content-length'])#返回的response的headers中获取文件大小信息
print("文件大小："+str(round(float(content_size/chunk_size/1024),4))+"[MB]")
with open(path,'wb') as file:for data in response.iter_content(chunk_size=chunk_size):#每次只获取一个chunk_size大小file.write(data)#每次只写入data大小size = len(data)+size#'r'每次重新从开始输出，end = ""是不换行print('\r'+"已经下载："+int(size/content_size*100)*"█"+" 【"+str(round(size/chunk_size/1024,2))+"MB】"+"【"+str(round(float(size/content_size)*100,2))+"%"+"】",end="")
end = time.time()
print("总耗时:"+str(end-start)+"秒")

以上就是简单实现显示下载进度和速度以及耗时的功能

Python:如何显示实时爬取速度和进度条？相关推荐

python爬虫实现实时爬取学校最新通知并推送
1.背景由于考研复试需要实时获取报考学校的最新通知,以免错过重要的消息,而手动刷新的方式费时费力,因此想到通过爬虫实现实时获取最新通知的功能.但还需解决几个问题: 爬虫爬取的最新通告,采用什么方式推 ...
python自动爬取更新电影网站_Python爬虫之—微信实时爬取电影咨询
本文将介绍如何使用爬虫在微信对话中实现实时的电影咨询爬取功能,希望和大家一起来分享" 1. 撩妹起源俗话说的好:少壮不撩妹,长大徒伤悲啊! 说的很对,但是在这个撩妹的时代,要想成功把到妹, ...
python爬斗鱼直播_Python爬虫：利用API实时爬取斗鱼弹幕
原标题:Python爬虫:利用API实时爬取斗鱼弹幕这些天一直想做一个斗鱼爬取弹幕,但是一直考试时间不够,而且这个斗鱼的api接口虽然开放了但是我在github上没有找到可以完美实现连接.我看了好多 ...
python 爬虫实践（爬取链家成交房源信息和价格）
简单介绍 pi: 简单介绍下,我们需要用到的技术,python 版本是用的pyhon3,系统环境是linux,开发工具是vscode:工具包:request 爬取页面数据,然后redis 实现数据缓存 ...
【Python爬虫】从零开始爬取Sci-Hub上的论文(串行爬取)
[Python爬虫]从零开始爬取Sci-Hub上的论文(串行爬取) 维护日志项目简介步骤与实践 STEP1 获取目标内容的列表 STEP2 利用开发者工具进行网页调研 2.1 提取文章链接和分页链 ...
［网络爬虫｜smtp协议｜python］东方财富网爬虫，python smtp协议发送爬取数据至QQ邮箱
本文改自［网络爬虫|smtp协议|python］东方财富网爬虫,python smtp协议发送爬取数据至QQ邮箱之前写的爬虫单子,代码已经跑了快3个月了,后续又增加了一些需求,修改了一些小bug ...
第一部分-实时爬取WeiBo热搜
python实时爬取微博热搜文章只做简单记录和放出完整代码,详细内容可以一起讨论第一步lxml方法获取内容从站内找到的方法,xpath.py代码如下 import requests from l ...
python抓取文献关键信息,python爬虫——使用selenium爬取知网文献相关信息
python爬虫--使用selenium爬取知网文献相关信息写在前面: 本文章限于交流讨论,请不要使用文章的代码去攻击别人的服务器如侵权联系作者删除文中的错误已经修改过来了,谢谢各位爬友指出错误 ...
【Python 爬虫】多线程爬取
文章目录前言一.多进程库(multiprocessing) 二.多线程爬虫三.案例实操四.案例解析 1.获取网页内容 2.获取每一章链接 3.获取每一章的正文并返回章节名和正文 4.将每一章保 ...

Python:如何显示实时爬取速度和进度条？

"https://dldir1.qq.com/qqtv/TencentVideo10.14.3360.0.exe"

Python:如何显示实时爬取速度和进度条？相关推荐

最新文章

热门文章