python爬虫爬取视频时,实现实时进度条显示
在爬取并下载网页上的视频的时候,我们需要实时进度条,这可以帮助我们更直观的看到视频的下载进度。
目录
一、全部代码展示
二、解释
1.with closing
with用法(没有实现上下文管理)
with用法(实现上下文管理)
closing用法(完美解决上述问题)
2.文件流stream
3.response.headers['content-length']
4.response.iter_content()
5.\r和%
三、结果展示
四、总结
一、全部代码展示
from contextlib import closing
from requests import get
url = 'https://v26-web.douyinvod.com/57cdd29ee3a718825bf7b1b14d63955b/615d475f/video/tos/cn/tos-cn-ve-15/72c47fb481464cfda3d415b9759aade7/?a=6383&br=2192&bt=2192&cd=0%7C0%7C0&ch=26&cr=0&cs=0&cv=1&dr=0&ds=4&er=&ft=jal9wj--bz7ThWG4S1ct&l=021633499366600fdbddc0200fff0030a92169a000000490f5507&lr=all&mime_type=video_mp4&net=0&pl=0&qs=0&rc=ank7OzU6ZnRkNjMzNGkzM0ApNmY4aGU8MzwzNzo3ZjNpZWdiYXBtcjQwLXNgLS1kLTBzczYtNS0tMmE1Xi82Yy9gLTE6Yw%3D%3D&vl=&vr='with closing(get(url, stream=True)) as response:chunk_size = 1024 # 单次请求最大值# response.headers['content-length']得到的数据类型是str而不是intcontent_size = int(response.headers['content-length']) # 文件总大小data_count = 0 # 当前已传输的大小with open('文件名.mp4', "wb") as file:for data in response.iter_content(chunk_size=chunk_size):file.write(data)done_block = int((data_count / content_size) * 50)# 已经下载的文件大小data_count = data_count + len(data)# 实时进度条进度now_jd = (data_count / content_size) * 100# %% 表示%print("\r [%s%s] %d%% " % (done_block * '█', ' ' * (50 - 1 - done_block), now_jd), end=" ")
注:上面的url已过期,需要各位自己去找网页上的视频url
二、解释
1.with closing
我们在日常读取文件资源时,经常会用到with open() as f:的句子。
但是使用with语句的时候是需要条件的,任何对象,只要正确实现了上下文管理,就可以使用with语句,实现上下文管理是通过__enter__
和__exit__
这两个方法实现的。
with用法(没有实现上下文管理)
class Door():def open(self):print('Door is opened')def close(self):print('Door is closed')
with Door() as d:d.open()d.close()
结果报错了
with用法(实现上下文管理)
用__enter__
和__exit__实现了上下文管理
class Door():def __enter__(self):print('Begin')return selfdef __exit__(self, exc_type, exc_value, traceback):if exc_type:print('Error')else:print('End')def open(self):print('Door is opened')def close(self):print('Door is closed')
with Door() as d:d.open()d.close()
结果没报错
closing用法(完美解决上述问题)
一个对象没有实现上下文,我们就不能把它用于with
语句。这个时候,可以用contextlib中的
closing()
来把该对象变为上下文对象。
from contextlib import closing
class Door():def open(self):print('Door is opened')def close(self):print('Door is closed')
with closing(Door()) as d:d.open()# d.close()
例如:用with语句使用requests中的get(url)
也就是本文中的案例,使用with closing()下载视频(在网页中)
2.文件流stream
想象一下,如果把文件读取比作向池子里抽水,同步会阻塞程序,异步会等待结果,如果池子非常大呢?
因此有了文件流,它就好比你一边抽一边取,不用等池子满了再用,
所以对于一些大型文件(几个G的视频)一般会用到这个参数。(对小型文件也可以使用)
3.response.headers['content-length']
这表示获取文件的总大小,但是它得到的结果的数据类型是str而不是int,因此需要进行数据类型转换。
4.response.iter_content()
该方法一般用于从网上下载文件和网页(需要用到requests.get(url))
其中chunk_size表示单次请求最大值。
5.\r和%
\r表示回车(回到行首)
%是一种占位符
而对于%%,第一个%起到了转义的作用,使结果输出为百分号%
三、结果展示
四、总结
我之前看了许多的进度条,这些进度条都能动,但是满足不了根据文件内容进行加载(里面的参数要么都定死了,要么就与文件大小无关),不能做到真正的交互功能,这次的进度条就很好的展示了,大家可以去试试!!
这次下载视频展示进度条是争对一个url,大家可以将它加到你的爬虫的循环中,这样就能在爬每个视频的时候展示实时进度条了!!
❤如有错误,请指正❤
python爬虫爬取视频时,实现实时进度条显示相关推荐
- Python爬虫——爬取网页时出现中文乱码问题
网页字符乱码处理 一.查看原网页编码的方式 1.首先呢,咱来说说如何在网页中查看编码方式,以爱奇艺为例,爱奇艺进入爱奇艺网页页面,鼠标 "右击–>检查–>点击Console ...
- python爬虫爬取腾讯网站——实时疫情数据并生成Excel表格
一.基本介绍: 开发背景:自从2020年新冠疫情发生后,至今为止的相关疫情数据新闻已经是非常的巨大了,我们无时不在在用数据尝试帮助我们解剖全球的疫情状况.由此可见,新冠疫情数据的新闻报道数量与国内疫情 ...
- python爬虫爬取视频_python爬虫:爬取网站视频
新建一个py文件,代码如下: #!/usr/bin/python # -*- coding: UTF-8 -*- import urllib,re,requests import sys reload ...
- Python爬虫爬取Twitter视频、文章、图片
Python爬虫爬取Twitter视频.文章.图片 Twitter的Python爬虫 https://github.com/bisguzar/twitter-scraper 2.2k星标 (2020. ...
- python网络爬虫_Python网络爬虫——爬取视频网站源视频!
原标题:Python网络爬虫--爬取视频网站源视频! 学习前提 1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 ...
- Python爬虫:爬取知乎上的视频,并把下载链接保存到md文件中
Python爬虫:爬取知乎上的视频,并把下载链接保存到md文件中 1.需要的Python模块 主要是requests模块,用于得到的网页的数据 安装命令为:pip install requests 2 ...
- Python爬虫 爬取腾讯视频评论内容
Python爬虫 爬取腾讯视频评论内容 腾讯视频评论内容在源码里是不可见,所以要使用抓包分析. 可安装fiddler代理服务器实现. 下面爬了腾讯视频评论内容(不包括回复),及发表评论者的id.昵称和 ...
- Python爬虫——爬取股票信息
Python爬虫--爬取股票信息 1. 准备工作 每一次浏览器访问网页,会自动向浏览器服务器发送本地的电脑信息(headers),远方服务器接收到信息后会反馈给你网页信息(response),然后电脑 ...
- python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
- Python爬虫|爬取喜马拉雅音频
"GOOD Python爬虫|爬取喜马拉雅音频 喜马拉雅是知名的专业的音频分享平台,用户规模突破4.8亿,汇集了有声小说,有声读物,儿童睡前故事,相声小品等数亿条音频,成为国内发展最快.规模 ...
最新文章
- SLAM算法&技术之Gauss-Newton非线性最小二乘算法
- Java中Date各种相关用法
- hibernate 关联总结
- C++基础汇总(一)
- 复合索引的列顺序判断
- 梁戈碧:促数据中心转型 释放数据洞察力
- 解决MSSQL MMC企业管理器打开报错问题
- sap.ca.scfld.md.controller.BaseMasterController - how is extend method implemented
- java 传送解析8583报文_java发送ISO8583报文接口案例
- 浅谈关于java中的深浅拷贝
- SecureCRT配置
- 分布式面试 - 集群部署时的分布式 session 如何实现?
- 严格模式explainFetchTask
- Spark2.2(三十九):如何根据appName监控spark任务,当任务不存在则启动(任务存在当超过多久没有活动状态则kill,等待下次启动)...
- Angular2 的 View Encapsulation(样式封装)
- python开发erp系统odoo_odooERP系统(框架)总结
- LeetCode通关:连刷三十九道二叉树,刷疯了!⭐四万字长文搞定二叉树,建议收藏!⭐
- Android10支持dcip3,dcip3 相当于多少srgb
- PNG生成多尺寸ico文件,开发桌面应用必备
- 硬件在环(一):HIL起始
热门文章
- pano2vr无法输出html5,教大家Pano2VR怎么输出全景图的方法
- 网络七层协议和TCP/IP五层协议
- sqlserver 企业版下载地址
- 服务器cpu天梯图_12月更新最新CPU天梯图amp;显卡天梯图,选购电脑必看(含台式与笔记本电脑CPUamp;显卡)含机型推荐...
- Wii 补充运动利器
- 传感器实验——LCD显示SHT20
- Android电话本实现
- php 公众号 群发,php实现微信公众号无限群发
- android qq 功能,Android 调用QQ相关的功能
- C盘下出现msdia80.dll文件