MakeItTalk用一段语音让一张照片动起来

2024-05-16 14:30:47

MakeItTalk用一段语音让一张照片动起来

flyfish

输入是一段语音和一张照片，输出就是照片里的人在说话的视频.
模型与源码一起提供,拖到文章末尾出有下载地址。

看例子

原始图片

AI模型让它动起来后

实现

这里是初始的使用教程比官网更加详细一些，因为增加一些容易使用的代码。
因为下载模型稍微有困难，所以这里模型与源码一起提供，点击这里下载。并且都已经各安其位，各司其职。
总共需要三部

第一步下载

模型与源码一起提供
链接：https://pan.baidu.com/s/1WvlRVUVbTOahpNedl9EUQA
提取码：hrvp

第二步看自然人脸的效果

为了一键执行，原始文件没动，增加了执行程序quick_demo.py可以什么都不用操心了，等着程序完成就行了。
在Python环境一条一条的执行

sudo apt-get install ffmpeg
pip install -r requirements.txt
python quick_demo.py

还可以使用下面的命令看效果

python main_end2end.py

第三步看卡通脸的效果

卡通人说话

python main_end2end_cartoon.py --jpg wilk.png --jpg_bg wilk_bg.png

如果出现结果是

libswresample   2.  9.100 /  2.  9.100
libpostproc    54.  7.100 / 54.  7.100
[image2 @ 0x55e0ebefab40] Could find no file with path '%06d.tga' and index in the range 0-4
%06d.tga: No such file or directory

官网提供的方法是在Ubuntu16.04安装winehq-stable运行facewarp.exe。这里是把facewarp.exe放在windows系统运行。出现这种错误不用担心。
把源码中windows文件夹放到windows操作系统中运行
运行命令如下这里放置的E盘

E:\facewarp>facewarp.exe examples_cartoon/wilk.png out/triangulation.txt out/reference_points.txt out/warped_points.txt examples_cartoon/wilk_bg.jpg -novsync -dump

生成了一堆tga图片
写一段代码将tga图片合并成gif

import imageio as iio, os
def merge_gif(source_path,target_path):lst = os.listdir(source_path)with iio.get_writer(target_path+"result.gif", mode='I') as writer:for i in lst:tmp=source_path + iprint("process",tmp)writer.append_data(iio.imread(tmp))if __name__ == "__main__":source_path = "./2/" # 一堆图片所在路径target_path = "./1/" # 生成gif的路径merge_gif(source_path,target_path)

出处

论文题目是《MakeItTalk: Speaker-Aware Talking-Head Animation》
框架流程

原始的代码地址
https://github.com/adobe-research/MakeItTalk.git
更容易使用的代码地址
链接：https://pan.baidu.com/s/1WvlRVUVbTOahpNedl9EUQA
提取码：hrvp

MakeItTalk用一段语音让一张照片动起来相关推荐

一段语音生成说话视频，连发际线都可以分好几种，网友：利好视频博主
杨净发自凹非寺量子位报道 | 公众号 QbitAI 只需一段语音,就能生成说话视频. 就像这样. 可以看到,表情.动作.神情全都在线,还有不同的穿搭. 就连发型.甚至发际线,都可以不同.(手动 ...
用计算机的声音编辑工具录制一段语音信号,语音信号的频谱分析实验指导
信号与系统中语音信号频谱分析实验指导 1．实验目的 (1)掌握傅里叶变换的物理意义,深刻理解傅里叶变换的内涵: (2)了解MATLAB对声音信号的处理指令: (3)了解计算机存储信号的方式及语音信号的 ...
css动画——语音播报小喇叭动效
css动画--语音播报小喇叭动效根据最近的业务需求,需要做一个类似语音播报的小喇叭播报动效,本着强大的开发与学习精神,放弃了采用图片或gif的形式,最后参考了几篇文章,不得不说有了css3,现实一些 ...
世界杯征文活动 | 神奇！一段JavaScript代码生成会动的足球
世界杯征文活动 | 神奇!一段JavaScript代码生成会动的足球文章目录前言一.效果展示二.代码解析 1.把足球图片转换为base64格式 2.根据base64格式的字符串,创建img标签 ...
小波阈值滤波和VMD分解的对比输入一段语音信号，加入不同信噪比的噪声，单独使用小波阈滤波
小波阈值滤波和VMD分解的对比输入一段语音信号,加入不同信噪比的噪声,单独使用小波阈滤波,以及变分模态分解,VMD分解加小波阈值进行滤波,最后比较得到的信号的信噪比. 会给出分解的结果图,以及频谱. ...
python 声音强度检测_怎样表达一段语音的强度（响度）？
我希望通过一段语音分析语音的强度(响度). 因为是工科狗而非理科狗,且对于音频信号分析是外行,只简单看了下FFT,所以对于自己分析语音强度的方法没有安全感.希望这方面的高手能够指导下.非常感谢!!! ...
如何用Python打电话来播放一段语音
安装twilio模块申请获得twilio的API Credentials 利用twilio模块的Client发送短信本篇文章,将讲述如何用Python打电话来播放一段语音(接电话的语音回复原理相似 ...
怎样把视频中的一小段制作成 GIF动图
平常生活中大家聊天肯定会发现有很多斗图高手,不管是家人群.同学群还是好友群,从不缺乏这样的人,大多数用来斗图的图片都是GIF动图,GIF动图即有趣又形象,像小视频一样,只不过它是图片格式.大家对GIF ...
用计算机的声音编辑工具录制一段语音信号,传媒2020年7月《影视录音基础》课程考试在线作业考核试题题目【标准答案】...
传媒2020年7月<影视录音基础>课程考试在线作业考核试题-0001 试卷总分:100 得分:100 一.单选题 (共 35 道试题,共 70 分) 1.自动对白替换的另一个名称是什么? ...

最新文章

热门文章