任务：

输入自己的音频，导入maya模型，让maya模型通过音频驱动说话

教程：
https://www.bilibili.com/video/BV1rZ4y1R7H4/?p=2&spm_id_from=pageDriver&vd_source=ef114f70c3fd4d5394f12dbd3d022bbe

一.下载和安装

1.首先在官网下载NVIDIA Omniverse
https://www.nvidia.cn/omniverse/apps/audio2face/
2.再在Omniverse平台安Audio2Face

二.导入模型

选中1，出现两个模板头像

模型为glb格式，导入结果如下，教程里模型格式为usd

下图为教程里的模型格式

加灯光，方便看清人脸

灯光参数

设置表情捕捉对象，1，2，3分别对应

捕捉表情

得到一个可以语音驱动的新模型

三.输入音频

音频可以通过麦克风录制。

添加一个新语音
调节表情强度等

四.导出模型

导出音频

五.导入maya

导入模型
动画模式
添加缓存, 导入xml格式

添加音频

六.待解决问题

1.usd格式
2.blendshape

Audio2Face-语音驱动虚拟人表情相关推荐

实时语音驱动实现Android端Avatar虚拟人表情表达
语音驱动虚拟人功能简介 ZEGO Avatar SDK 提供了语音驱动功能,通过声音的声波信息,实时驱动当前虚拟人物的嘴形变化,使得虚拟形象能够和真人一样进行自然的情绪表达. 可广泛应用于社交互动.语 ...
技术分享 | 语音AI如何驱动虚拟人
关于虚拟数字人的起源最早可以追溯到上个世纪八十年代的日本经典动画片<超时空要塞>的女主角林明美.作为虚拟偶像的开端,动画公司以她的虚拟形象发行唱片,虚拟人第一次进入了现实世界. 2000年 ...
【20220505】文献翻译9：从视频中学习语音驱动的3D对话手势
Learning Speech-driven 3D Conversational Gestures from Video 摘要 1 简介 2 相关工作 3 数据集创建 3.1 从视频中创建3D注释 3 ...
合成视频以假乱真新高度！商汤科技、中科院、南洋理工大学联合提出当前最高清的语音驱动视频生成系统...
点击我爱计算机视觉标星,更快获取CVML新技术昨天ArXiv新出一篇效果异常赞的语音驱动的人脸视频合成论文,出自商汤科技,视频效果异常好.给定一段15分钟的演讲视频,应用该技术,即可生成一段该人物新 ...
AI数字人：语音驱动面部模型及超分辨率重建Wav2Lip-HD
1 Wav2Lip-HD项目介绍数字人打造中语音驱动人脸和超分辨率重建两种必备的模型,它们被用于实现数字人的语音和图像方面的功能.通过Wav2Lip-HD项目可以快速使用这两种模型,完成高清数字人形 ...
CVPR 2021 | 任何人都能“不讲武德”，姿态可控的语音驱动说话人脸
作者丨Johann Zhou@知乎来源丨https://zhuanlan.zhihu.com/p/367525241 编辑丨极市平台 [导读]本文介绍了一篇由香港中文大学MMLab,商汤科技和南洋理 ...
CVPR 2021 | 姿态可控的语音驱动
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨Johann Zhou@知乎来源丨https://zhuanlan.zhihu.com/p/36752 ...
CVPR 2021 | “以音动人”：姿态可控的语音驱动说话人脸
本文转载自商汤学术摘要 · 看点本文不使用任何人为定义的结构信息(人脸关键点或者3D人脸模型),成功实现了人头姿态可控的语音驱动任意说话人脸生成.本文的关键在于,隐式地在潜空间(latent sp ...
通过实时语音驱动人像模拟真人说话
元宇宙的火热让人们对未来虚拟世界的形态充满了幻想,此前我们为大家揭秘了声网自研的 3D 空间音频技术如何在虚拟世界中完美模拟现实听觉体验,增加玩家沉浸感.今天我们暂时离开元宇宙,回到现实世界,来聊聊声 ...

Audio2Face-语音驱动虚拟人表情

任务：