爬虫项目——m3u8后缀的电影

# -*- coding: utf-8 -*-
"""
Created on Wed Oct  6 10:47:47 2021@author: yingziE-mail:guotaomath@163.com
"""
'''
目标：找到目标网页,源代码中已找到m3u8,且通过抓包工具知道，
第一层m3u8嵌套第二层m3u8(真实ts的下载地址)，视频无加密
''''''
流程：1. 拿到网页源代码2. 从网页源代码提取第一层m3u8的url3. 解析第一层的m3u8，获取第二层m3u8的url4. 解析第二层的m3u8,分别下载相应的ts5. 合并ts
'''
import requests
import re
import asyncio
import aiohttp
import aiofiles
import osdef get_m3u8_url(url):  #输入网页地址,得到网页地址内的m3u8的地址resp = requests.get(url)resp.encoding = "utf-8"obj = re.compile(r'now="(?P<url>.*?)"',re.S) #用来提取m3u8地址m3u8_url = obj.search(resp.text).group("url")return m3u8_urldef down_first_m3u8(url):resp = requests.get(url)resp.encoding = "utf-8"with open("法律之地.txt",mode="wb") as f:f.write(resp.content)def get_second_m3u8_url(url):with open("法律之地.txt",mode="r",encoding="utf-8") as f:for line in f:if line.startswith("#"):continuem3u8_url = url.split(r"/20210704")[0]+line.strip()return m3u8_urldef  down_second_m3u8(url):resp = requests.get(url)resp.encoding = "utf-8"with open("法律之地2.txt",mode="wb") as f:f.write(resp.content)async def download_ts(url,name,session):async with session.get(url) as resp:async with aiofiles.open(f"video/法律之地/{name}",mode="wb") as f:await f.write(await resp.content.read())print(f"{name}下载完毕!!")async def aio_download():tasks = []async with aiohttp.ClientSession() as session:    # 提前准备好sessionasync with aiofiles.open("法律之地2.txt",mode="r",encoding="utf-8") as f:async for line in f:if line.startswith("#"):continuets_url = line.strip()task = asyncio.create_task(download_ts(ts_url,ts_url.rsplit("/",1)[1],session))tasks.append(task)await asyncio.wait(tasks)# def merge_ts_1():
#     lst = []
#     with open("法律之地2.txt",mode="r",encoding="utf-8") as f:
#         for line in f:
#             if line.startswith("#"):
#                 continue
#             name = line.strip().rsplit("/",1)[1]
#             lst.append(f"video/法律之地/{name}")
#     s = "+".join(lst)
#     os.system(f"copy /b {s} video.mp4")
#     print("搞定！！")def merge_ts_2():with open("法律之地2.txt",mode="r",encoding="utf-8") as f:with open("video.ts",'wb+') as f1:for line in f:if line.startswith("#"):continuename = line.strip().rsplit("/",1)[1]if os.path.exists(os.path.join(f"video/法律之地/{name}")):ts_video_path = os.path.join(f"video/法律之地/{name}")f1.write(open(ts_video_path,'rb').read())print("搞定！！")     if __name__ == '__main__':url = "https://www.daquan.cc/play/?15855-1-0.html"m3u8_first_url = get_m3u8_url(url)   # 2.1 获取第一层的m3u8的地址down_first_m3u8(m3u8_first_url)      # 3.1 解析第一层的m3u8m3u8_second_url = get_second_m3u8_url(m3u8_first_url) # 3.2获取第二层m3u8的urldown_second_m3u8(m3u8_second_url)    # 4.1 解析第二层的m3u8asyncio.create_task(aio_download())  # 4.2 调用异步协程，加快下载ts文件merge_ts_2()  # 5合并ts文件

后续改进：

现在只启用了异步协程下载ts文件，未添加线程，文件量太大时，协程等待 await会强制退出，下载电影后半部分没下完，后续学会添加线程了再加上去，应该可以解决这个问题。
merge_ts_1这个函数不知为何用不了，用了merge_ts_2函数替代了

爬虫项目——m3u8后缀的电影相关推荐

python爬电影_Python爬虫项目--爬取猫眼电影Top100榜
本次抓取猫眼电影Top100榜所用到的知识点: 1. python requests库 2. 正则表达式 3. csv模块 4. 多进程正文目标站点分析通过对目标站点的分析, 来确定网页结构, ...
Python爬虫项目-豆瓣网电影排名TOP250
开发背景:该项目是给电影爱好者提供的,利用爬虫爬取豆瓣网上电影榜排名TOP250的电影,然后选取自己最喜欢的电影看,有电影名称,电影链接,导演,演员,以及有多少人观看并评分功能介绍:实时爬取豆瓣网上 ...
【python教程入门学习】Python零基础入门爬虫项目
Python入门爬虫项目这是我的第一个python项目,分享给大家. 需求我们目前正在开发一款产品其功能大致是:用户收到短信如:购买了电影票或者火车票机票之类的事件.然后app读取短信,解析短信, ...
python爬虫项目-32个Python爬虫实战项目，满足你的项目慌
原标题:32个Python爬虫实战项目,满足你的项目慌爬虫项目名称及简介一些项目名称涉及企业名词,小编用拼写代替 1.[WechatSogou]- weixin公众号爬虫.基于weixin公众号爬 ...
python爬虫项目-33个Python爬虫项目实战(推荐)
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...
python爬虫项目-32个Python爬虫项目让你一次吃到撑
今天为大家整理了32个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1]- ...
python爬虫项目-23个Python爬虫开源项目代码
今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.WechatSogou [1]– 微信公众号 ...
python爬虫新手项目-33个Python爬虫项目实战(推荐)
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...
python爬虫教程推荐-33个Python爬虫项目实战(推荐)
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...

爬虫项目——m3u8后缀的电影

爬虫项目——m3u8后缀的电影相关推荐

最新文章

热门文章