电影之类的长视频好像都用m3u8格式了,这就导致了多线程下载视频的意义不是很大,都是短视频,线不线程就没什么意义了嘛。

我们知道,m3u8的链接会下载一个文档,相当长,半小时的视频,应该有接近千行ts链接。

这些ts链接下载成ts文件,就是碎片化的视频,加以合并,就成了需要的视频。

那,即便网速很快,下几千行视频,效率也就低了,更何况还要合并。我就琢磨了一下午,怎么样才能多线程下载m3u8格式的视频呢?

先上代码,再说重难点:

import datetime

import os

import re

import threading

import requests

from queue import Queue

# 预下载,获取m3u8文件,读出ts链接,并写入文档

def down():

# m3u8链接

url = 'https://ali-video.acfun.cn/mediacloud/acfun/acfun_video/segment/3zf_GAW6nFMuDXrTLL89OZYOZ4mwxGoASH6UcZbsj1_6eAxUxtp3xm8wFmGMNOnZ.m3u8?auth_key=1573739375-474267152-0-a5aa2b6df4cb4168381bf8b04d88ddb1'

# 当ts文件链接不完整时,需拼凑

# 大部分网站可使用该方法拼接,部分特殊网站需单独拼接

base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]

# print(base_url)

resp = requests.get(url)

m3u8_text = resp.text

# print(m3u8_text)

# 按行拆分m3u8文档

ts_queue = Queue(10000)

lines = m3u8_text.split('\n')

# 找到文档中含有ts字段的行

concatfile = 'cache/' + "s" + '.txt'

for line in lines:

if '.ts' in line:

if 'http' in line:

# print("ts>>", line)

ts_queue.put(line)

else:

line = base_url + line

ts_queue.put(line)

# print('ts>>',line)

filename = re.search('([a-zA-Z0-9-]+.ts)', line).group(1).strip()

# 一定要先写文件,因为线程的下载是无序的,文件无法按照

# 123456。。。去顺序排序,而文件中的命名也无法保证是按顺序的

# 这会导致下载的ts文件无序,合并时,就会顺序错误,导致视频有问题。

open(concatfile, 'a+').write("file %s\n" % filename)

return ts_queue,concatfile

# 线程模式,执行线程下载

def run(ts_queue):

tt_name = threading.current_thread().getName()

while not ts_queue.empty():

url = ts_queue.get()

r = requests.get(url, stream=True)

filename = re.search('([a-zA-Z0-9-]+.ts)', url).group(1).strip()

with open('cache/' + filename, 'wb') as fp:

for chunk in r.iter_content(5242):

if chunk:

fp.write(chunk)

print(tt_name + " " + filename + ' 下载成功')

# 视频合并方法,使用ffmpeg

def merge(concatfile, name):

try:

path = 'cache/' + name + '.mp4'

command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)

os.system(command)

print('视频合并完成')

except:

print('合并失败')

if __name__ == '__main__':

name = input('请输入视频名称:')

start = datetime.datetime.now().replace(microsecond=0)

s,concatfile = down()

# print(s,concatfile)

threads = []

for i in range(15):

t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s})

threads.append(t)

for t in threads:

t.start()

for t in threads:

t.join()

end = datetime.datetime.now().replace(microsecond=0)

print('下载耗时:' + str(end - start))

merge(concatfile,name)

over = datetime.datetime.now().replace(microsecond=0)

print('合并耗时:' + str(over - end))

效果图:

代码开始:自己输入视频名称(也可以去原网站爬名称)

查看下载耗时,fmmpeg开始合并:

合并耗时:

7分多钟,90个ts文件,接近40MB。两秒下载完成。

更大的文件,开更多的线程。

然后我们画画重难点:

第一:ts文件命名问题。

我们知道,每一个线程启动,除了队列不会重复,那么代码里都会重新跑(线程里的代码),那么,1.ts,2.ts....这种命名是不可能的了,文件会被覆盖。命名我使用了ts链接中的部分链接。

第二:合并问题。

文件的合并是根据文档内的顺序,也就是,如果边下载边合并,那么,线程的无序性导致下载无序,文件写入也就无序化了,合并时,时间线会错误,合出来的视频就无法看。因此,文件要提前写好才行,这和命名有很大的关联,看代码即知。

第三:有的m3u8是特殊处理的,代码具有一定的局限性。

写的时候挺难的,脑子都乱了,就这些吧,记录一下。

对了,贴一下下载的图:90个ts文件,一个mp4文件,一个文档。

总结

以上所述是小编给大家介绍的python 实现多线程下载m3u8格式视频并使用fmmpeg合并,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

python多线程下载视频_python 实现多线程下载m3u8格式视频并使用fmmpeg合并相关推荐

  1. python下载大文件mp4_Python 下载 m3u8 格式视频

    Python requests 下载 m3u8 格式 视频 最近爬取一个视频网站,遇到 m3u8 格式的视频需要下载. 抓包分析,视频文件是多个 ts 文件,什么是 ts文件,请去百度吧: 附图:抓包 ...

  2. python下载m3u8视频_使用python 下载m3u8格式视频,并使用ffmpeg 合成视频

    使用python 下载m3u8格式视频,并合成 # -*- coding: utf-8 -*- # Created on 2018/07/26 import os import requests &q ...

  3. 如何优雅的批量下载m3u8 格式视频

    我们去很多网站上 去下载视频,解析出的地址 是m3u8格式视频, 使用 普通的下载方式下载就是一个m3u8文件.里面装的是一段一段的视频.一方面,不做特殊处理播放器可能播放不了,另一方面该格式可能是加 ...

  4. M3U8格式视频下载

    M3U8是一种流媒体,现多用于视频播放.当把m3u8格式视频的url下载下来用文本打开会发现其实只是一段字符串,包含了很多视频小片段的地址,那么怎么样把整个视频下载下来用于本地播放呢? 首先,m3u8 ...

  5. 【视频格式】m3u8格式视频下载

    1. m3u8是什么 M3U8 是 Unicode 版本的 M3U,用 UTF-8 编码."M3U" 和 "M3U8" 文件都是苹果公司使用的 HTTP Liv ...

  6. 使用javascript在各大视频网站一键抓取无水印m3u8格式视频并将视频下载成mp4格式(以Google抓取腾讯视频为例)

    两三天没有更新博客了,最近博主有点夏乏(其实是懒),今日在划水的时候无意中学到了使用javascrpit抓取m3u8格式视频的小技巧,因此进行延伸并作此博客进行记录.接下来,我将使用javascrip ...

  7. python爬取m3u8格式视频

    python爬取m3u8格式视频 m3u8原理 脚本环境 爬取步骤 步骤的具体实现 python细节处理说明 参考代码 m3u8原理 当我们在网页播放视频时,网页向服务器发起一个以.m3u8结尾的连接 ...

  8. m3u8解析_浅谈m3u8格式视频文件采集

    在对某在线视频网站抓包分析时,发现该站点采用m3u8格式进行视频文件传输. 通过m3u8的response可以看到,m3u8格式文件由很多段ts文件组成.那么什么是m3u8,什么是ts呢? M3U8是 ...

  9. uniapp m3u8格式视频加载

    uniapp一:mui-player:三方  h5 web app uniapp 使用 mui-player 插件播放 m3u8/flv 视频流_翘翘红的博客-CSDN博客 uniapp 开发的h5项 ...

最新文章

  1. (boost::mp11::mp_rotate_left相关用法的测试程序
  2. LeetCode题库第1题 两数之和
  3. 美元贬值越来越严重,美元会不会有崩溃的一天?
  4. 创建链表小细节(引用传递和值传递以及链表中的LinkList L、LinkList *L、LinkList L)
  5. 01_jeecms建站
  6. 无监督学习才不是“不要你管”
  7. jQuery打印插件JQPRINT
  8. python基础--函数1
  9. 存储控制器和SDRAM 实验
  10. android today上下卡片,在 Android 手机上看天气,你有这些高颜值、无广告的选择...
  11. 大数据用户画像方法与实践(干货 转帖)
  12. win10专业版和win10家庭版的区别浅谈
  13. 网易云音乐React Native体系建设与发展
  14. 小镇走出的大厂女程序员,也害怕努力后仍一无所获
  15. mysql java驱动 ibm_Java 通过JDBC连接Mysql数据库
  16. [转]张伯伟:在南京大学文学院2009级研究生开学典礼的讲话
  17. 我的第一个长程序,虽然是直接抄了书上,可是还是出现了两次拼写错误,最终还是找到异常的答案,改过来了。...
  18. 使用YOLOv5训练NEU-DET数据集
  19. 连续周期信号的傅里叶变换(CFT)
  20. python快速打引号_Python:如何向长lis添加单引号

热门文章

  1. 开始使用ABP.CORE模板 (ASP.NET Core with Angular)
  2. 错误方法修改用户名后,开机提示无法登录到你的账户的正确解决方法
  3. 《如何发掘高潜力人才-合伙人-阿根廷费洛迪》 读后感
  4. SAP SD - 交货POD收货确认
  5. 计算机专业课考试分析,计算机考研专业课考试知识点分析
  6. 26 欧拉积分疑惑解析
  7. 大数据统计大量股票开盘平均价和收盘平均价
  8. 十三届双11,一部电商流量变迁史
  9. 实践讲解Spring配置中心config(图+文,本地文件方式)
  10. 如何优化cocos2d程序的内存使用和程序大小