真没想到,Python还能实现5毛特效
来源 | ZackSock(ID:ZackSock)
图源 | 视觉中国
Python牛已经不是一天两天的事了,但是我开始也没想到,Python能这么牛。前段时间接触了一个批量抠图的模型库,而后在一些视频中找到灵感,觉得应该可以通过抠图的方式,给视频换一个不同的场景,于是就有了今天的文章。
我们先看看能实现什么效果,先来个正常版的,先看看原场景:
下面是我们切换场景后的样子:
看起来效果还是不错的,有了这个我们就可以随意切换场景,坟头蹦迪不是梦。另外,我们再来看看另外一种效果,相比之下要狂放许多:
实现步骤
我们都知道,视频是由一帧一帧的画面组成的,每一帧都是一张图片,我们要实现对视频的修改就需要对视频中每一帧画面进行修改。所以在最开始,我们需要获取视频每一帧画面。
在我们获取帧之后,需要抠取画面中的人物。
抠取人物之后,就需要读取我们的场景图片了,在上面的例子中背景都是静态的,所以我们只需要读取一次场景。在读取场景之后我们切换每一帧画面的场景,并写入新的视频。
这时候我们只是生成了一个视频,我们还需要添加音频。而音频就是我们的原视频中的音频,我们读取音频,并给新视频设置音频就好了。
具体步骤如下:
读取视频,获取每一帧画面
批量抠图
读取场景图片
对每一帧画面进行场景切换
写入视频
读取原视频的音频
给新视频设置音频
因为上面的步骤还是比较耗时的,所以在视频完成后通过邮箱发送通知,告诉我视频制作完成。
模块安装
我们需要使用到的模块主要有如下几个:
pillow
opencv
moviepy
paddlehub
我们都可以直接用pip安装:
pip install pillow
pip install opencv-python
pip install moviepy
其中OpenCV有一些适配问题,建议选取3.0以上版本。
在我们使用paddlehub之前,我们需要安装paddlepaddle:具体安装步骤可以参见官网。用paddlehub抠图参考:别再自己抠图了,Python用5行代码实现批量抠图。我们这里直接用pip安装cpu版本的:
# 安装paddlepaddle
python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
# 安装paddlehub
pip install -i https://mirror.baidu.com/pypi/simple paddlehub
有了这些准备工作就可以开始我们功能的实现了。
具体实现
我们导入如下包:
import cv2 # opencv
import mail # 自定义包,用于发邮件
import math
import numpy as np
from PIL import Image # pillow
import paddlehub as hub
from moviepy.editor import *
其中Pillow和opencv导入的名称不太一样,还有就是我自定义的mail模块。另外我们还要先准备一些路径:
# 当前项目根目录,系统自动获取当前目录
BASE_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), "."))
# 每一帧画面保存的地址
frame_path = BASE_DIR + '\\frames\\'
# 抠好的图片位置
humanseg_path = BASE_DIR + '\\humanseg_output\\'
# 最终视频的保存路径
output_video = BASE_DIR + '\\result.mp4'
接下来我们按照上面说的步骤一个一个实现。
(1)读取视频,获取每一帧画面
在OpenCV中提供了读取帧的函数,我们只需要使用VideoCapture类读取视频,然后调用read函数读取帧,read方法返回两个参数,ret为是否有下一帧,frame为当前帧的ndarray对象。完整代码如下:
def getFrame(video_name, save_path):"""读取视频将视频逐帧保存为图片,并返回视频的分辨率size和帧率fps:param video_name: 视频的名称:param save_path: 保存的路径:return: fps帧率,size分辨率"""# 读取视频video = cv2.VideoCapture(video_name)# 获取视频帧率fps = video.get(cv2.CAP_PROP_FPS)# 获取画面大小width = int(video.get(cv2.CAP_PROP_FRAME_WIDTH))height = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))size = (width, height)# ????获取帧数,用于给图片命名frame_num = str(video.get(7))name = int(math.pow(10, len(frame_num)))# 读取帧,ret为是否还有下一帧,frame为当前帧的ndarray对象ret, frame = video.read()while ret:cv2.imwrite(save_path + str(name) + '.jpg', frame)ret, frame = video.read()name += 1video.release()return fps, size
在标????处,我获取了帧的总数,然后通过如下公式获取比帧数大的整十整百的数:
frame_name = math.pow(10, len(frame_num))
这样做是为了让画面逐帧排序,这样读取的时候就不会乱。另外我们获取了视频的帧率和分辨率,这两个参数在我们创建视频时需要用到。这里需要注意的是opencv3.0以下版本获取帧率和画面大小的写法有些许差别。
(2)批量抠图
批量抠图需要用到paddlehub中的模型库,代码很简单,这里就不多说了:
def getHumanseg(frames):"""对帧图片进行批量抠图:param frames: 帧的路径:return:"""# 加载模型库humanseg = hub.Module(name='deeplabv3p_xception65_humanseg')# 准备文件列表files = [frames + i for i in os.listdir(frames)]# 抠图humanseg.segmentation(data={'image': files})
我们执行上面函数后会在项目下生成一个humanseg_output目录,抠好的图片就在里面。
(3)读取场景图片
这也是简单的图片读取,我们使用pillow中的Image对象:
def readBg(bgname, size):"""读取背景图片,并修改尺寸:param bgname: 背景图片名称:param size: 视频分辨率:return: Image对象"""im = Image.open(bgname)return im.resize(size)
这里的返回的对象并非ndarray对象,而是Pillow中定义的类对象。
(4)对每一帧画面进行场景切换
简单来说就是将抠好的图片和背景图片合并,我们知道抠好的图片都在humanseg_output目录,这也就是为什么最开始要准备相应的变量存储该目录的原因:
def setImageBg(humanseg, bg_im):"""将抠好的图和背景图片合并:param humanseg: 抠好的图:param bg_im: 背景图片,这里和readBg()函数返回的类型一样:return: 合成图的ndarray对象"""# 读取透明图片im = Image.open(humanseg)# 分离色道r, g, b, a = im.split()# ????复制背景,以免源背景被修改bg_im = bg_im.copy()# 合并图片bg_im.paste(im, (0, 0), mask=a)return np.array(bg_im.convert('RGB'))[:, :, ::-1]
在标????处,我们复制了背景,如果少了这一步的话,生成的就是我们上面的“千手观音效果”了。
其它步骤都很好理解,只有返回值比较长,我们来详细看一下:
# 将合成图转换成RGB,这样A通道就没了
bg_im = bg_im.convert('RGB')
# 将Image对象转换成ndarray对象,方便opencv读取
im_array = np.array(bg_im)
# 此时im_array为rgb模式,而OpenCV为bgr模式,我们通过下面语句将rgb转换成bgr
bgr_im_array = im_array[:, :, ::-1]
最后bgr_im_array就是我们最终的返回结果。
(5)写入视频
为了节约空间,我并非等将写入图片放在合并场景后面,而是边合并场景边写入视频:
def writeVideo(humanseg, bg_im, fps, size):""":param humanseg: png图片的路径:param bgname: 背景图片:param fps: 帧率:param size: 分辨率:return:"""# 写入视频fourcc = cv2.VideoWriter_fourcc(*'mp4v')out = cv2.VideoWriter('green.mp4', fourcc, fps, size)# 将每一帧设置背景files = [humanseg + i for i in os.listdir(humanseg)]for file in files:# 循环合并图片im_array = setImageBg(file, bg_im)# 逐帧写入视频out.write(im_array)out.release()
上面的代码也非常简单,执行完成后项目下会生成一个green.mp4,这是一个没有音频的视频,后面就需要我们获取音频然后混流了。
(6)读取原视频的音频
因为在opencv中没找到音频相关的处理,所以选用moviepy,使用起来也非常方便:
def getMusic(video_name):"""获取指定视频的音频:param video_name: 视频名称:return: 音频对象"""# 读取视频文件video = VideoFileClip(video_name)# 返回音频return video.audio
然后就是混流了。
(7)给新视频设置音频
这里同样使用moviepy,传入视频名称和音频对象进行混流:
def addMusic(video_name, audio):"""实现混流,给video_name添加音频"""# 读取视频video = VideoFileClip(video_name)# 设置视频的音频video = video.set_audio(audio)# 保存新的视频文件video.write_videofile(output_video)
其中output_video是我们在最开始定义的变量。
(8)删除过渡文件
在我们生产视频时,会产生许多过渡文件,在视频合成后我们将它们删除:
def deleteTransitionalFiles():"""删除过渡文件"""frames = [frame_path + i for i in os.listdir(frame_path)]humansegs = [humanseg_path + i for i in os.listdir(humanseg_path)]for frame in frames:os.remove(frame)for humanseg in humansegs:os.remove(humanseg)
最后就是将整个流程整合一下。
(8)整合
我们将上面完整的流程合并成一个函数:
def changeVideoScene(video_name, bgname):""":param video_name: 视频的文件:param bgname: 背景图片:return:"""# 读取视频中每一帧画面fps, size = getFrame(video_name, frame_path)# 批量抠图getHumanseg(frame_path)# 读取背景图片bg_im = readBg(bgname, size)# 将画面一帧帧写入视频writeVideo(humanseg_path, bg_im, fps, size)# 混流addMusic('green.mp4', getMusic(video_name))# 删除过渡文件deleteTransitionalFiles()
(9)在main中调用
我们可以把前面定义的路径也放进了:
if __name__ == '__main__':# 当前项目根目录BASE_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), "."))# 每一帧画面保存的地址frame_path = BASE_DIR + '\\frames\\'# 抠好的图片位置humanseg_path = BASE_DIR + '\\humanseg_output\\'# 最终视频的保存路径output_video = BASE_DIR + '\\result.mp4'if not os.path.exists(frame_path):os.makedirs(frame_path)try:# 调用函数制作视频changeVideoScene('jljt.mp4', 'bg.jpg')# 当制作完成发送邮箱mail.sendMail('你的视频已经制作完成')except Exception as e:# 当发生错误,发送错误信息mail.sendMail('在制作过程中遇到了问题' + e.__str__())
这样我们就完成了完整的流程。
发送邮件
邮件的发送又是属于另外的内容了,我定义了一个mail.py文件,具体代码如下:
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart # 一封邮件def sendMail(msg): # sender = '发件人'to_list = ['收件人']subject = '视频制作情况'# 创建邮箱em = MIMEMultipart()em['subject'] = subjectem['From'] = senderem['To'] = ",".join(to_list)# 邮件的内容content = MIMEText(msg)em.attach(content)# 发送邮件# 1、连接服务器smtp = smtplib.SMTP()smtp.connect('smtp.163.com')# 2、登录smtp.login(sender, '你的密码或者授权码')# 3、发邮件smtp.send_message(em)# 4、关闭连接smtp.close()
里面的邮箱我是直接写死了,大家可以自由发挥。为了方便,推荐发件人使用163邮箱,收件人使用QQ邮箱。另外在登录的时候直接使用密码比较方便,但是有安全隐患。
总结
老实说上述程序的效率非常低,不仅占空间,而且耗时也比较长。在最开始我切换场景选择的是遍历图片每一个像素,而后找到了更加高效的方式取代了。但是帧画面的保存,和png图片的存储都很耗费空间。
另外程序设计还是有许多不合理的地方,像是ndarray对象和Image的区分度不高,另外有些函数选择传入路径,而有些函数选择传入文件对象也很容易让人糊涂。
最后说一下,我们用上面的方式不仅可以做静态的场景切换,还可以做动态的场景切换,这样我们就可以制作更加丰富的视频。当然,效率依旧是个问题。
完整代码已提交GitHub:
https://github.com/IronSpiderMan/VideoSpecialEffects
推荐阅读
AI修复100年前晚清影像喜提热搜,这两大算法立功了
CycleGan人脸转为漫画脸,牛掰的知识又增加了 | 附代码
作词家下岗系列:教你用 AI 做一个写歌词的软件
用大白话彻底搞懂 HBase RowKey 详细设计
为什么黑客无法攻击公开的区块链?
百万人学AI 万人在线大会, 15+场直播抢先看!
自动化神经网络理论进展缓慢,AutoML 算法的边界到底在哪?
-
你点的每个“在看”,我都认真当成了AI
真没想到,Python还能实现5毛特效相关推荐
- python合并视频和音频_真没想到,Python 还能实现 5 毛特效
作者 | ZackSock 来源 | ZackSock(ID:ZackSock) Python牛已经不是一天两天的事了,但是我开始也没想到,Python能这么牛.前段时间接触了一个批量抠图的模型库,而 ...
- python可以做特效吗_真没想到,Python还能实现5毛特效
来源 | ZackSock(ID:ZackSock) 图源 | 视觉中国 Python牛已经不是一天两天的事了,但是我开始也没想到,Python能这么牛.前段时间接触了一个批量抠图的模型库,而后在一些 ...
- python slice函数画高维图_没想到Python还能画六维图
我们的大脑通常最多能感知三维空间,超过三维就很难想象了.尽管是三维,理解起来也很费劲,所以大多数情况下都使用二维平面. 来自维基百科 不过,我们仍然可以绘制出多维空间,今天就来用 Python 的 p ...
- 真没想到,疫情让我实现了远程办公的夙愿
昨天晚上,公号后台收到了一位读者小武的多条留言(内容大致如下),竟然让我心有戚戚焉. 二哥,真没想到,疫情让我实现了多年来的一个夙愿:远程办公.但说实话,心里挺不是滋味的. 放假前,我想着终于可以解放 ...
- char转成string_真没想到,一个小小的String居然还有这么多窍门?
推荐学习 公司来了位阿里P8大神,看完他的手写"Kafka笔记",万分膜拜 牛掰!"基础-中级-高级"Java程序员面试集结,看完献出我的膝盖 真没想到,一个小 ...
- 真没想到刚刚会把这个记录下来。嘿嘿。
真没想到刚刚会把这个记录下来.嘿嘿. 等我们死去以后,会有人把这些收集整理起来,形成语录体著作吗? 哈哈!?. 脸太大了. http://www.uuzone.com/app/trackBack.do ...
- python做动态课件素材_万万没想到,还能这么玩!用 Python 生成动态 PPT
在工作的过程中,我们会发现那些能够把知识.成果讲透的人很多都会做动态图表. 这篇文章就介绍了 Python 中一种简单的动态图表制作方法,这样生成的动图就可以丰富我们的PPT啦~ 数据暴增的年代,数据 ...
- Python迎来30岁生日,先驱Pablo Galindo:没想到Python这么流行
公众号 "菜鸟学Python", 设为 "星标" 和30w+一起学Python! 新智元报道 来源:reddit 编辑:key Python 30岁了!就在生日 ...
- 真没有想到,还能在网上找到。感觉真好。
301.他易于满足. He is content with very little. 302.早起三朝当一天. To get up early for three morning is equal t ...
最新文章
- Java多线程编程实战指南
- 平衡二叉排序树(完整案例详解及完整C代码实现)
- 钉钉机器人自动回复消息_用Python自动发送钉钉数据消息
- Oracle序列更新为主键最大值
- 计算机网络工程应用,全面信息化管理在计算机网络工程的应用
- lbp特征提取算法 知乎_图像-LBP特征描述算子-人脸检测
- springboot+security框架整合
- 她看:2021年95后女性人群洞察与媒体消费趋势前瞻.pdf(附下载链接)
- C# 字符串拼接性能探索 c#中+、string.Concat、string.Format、StringBuilder.Append四种方式进行字符串拼接时的性能...
- jQuery学习笔记01
- Java实现用户输入自己的会员卡号,程序取出会员卡号的各个位数,并打印结果
- 新浪新闻发布Z世代洞察报告:Z世代偏爱深入“吃瓜” 对元宇宙兴趣强烈
- 传智播客创始人张孝祥因病去世(转)
- 整合腾讯云地图的绘制和编辑几何图形
- ubuntu和windows之间实现复制粘贴
- 【微信小程序】日历弹窗选择器
- 微信小程序 - 如何利用百度飞桨实现图像分类识别
- html emsp ensp nbsp; thinsp;空格到底怎么占用像素的
- 从2-3树谈到左倾红黑树
- 计算机考研英语一和英语二的区别,考研英语一和英语二的区别,考研党知道了吗?...