SALSA使用探索

之前做项目时想实现人物说话的效果，因为我们的语音是AI合成的，有很多片段，如果能根据语音生成嘴部的动画，那将极大便利我们的工作。后面是找到了SALSA的这款插件，并摸索出使用方法。

1 插件介绍

官方网站：https://crazyminnowstudio.com/

这是一个能做2D纸片人和3D人物模型嘴部和眼睛动画的插件，由两人组成的独立工作室(疯狂米诺工作室)开发。

插件全名为SALSA With RandomEyes，2014年上架Asset Store，目前是已下架，替换为新版本，名为SALSA LipSync Suite。那么我们为什么不用新版本呢？问的好，因为…找不到能白嫖的资源，咳咳。

2 插件使用

最开始看官网的英文文档看不下去，就直接把插件导进来自己研究了，下面是使用探索的过程。

2.1 导入插件

插件不大，20多M，里面包含官方示例模型。

蓝奏云下载链接：https://guichai.lanzout.com/ipKZSyjd1pc（仅供学习用途，请购买正版）

2.2 官方示例

2.2.1 BlendShape

找到里面 Examples 中的 Models 文件夹，里面有3个模型文件夹，我们用 Ethan 里面的这个人形模型。

（顺便吐槽一句，官方的其他几个示例模型太难看了喂，找个美工做点好看的示例模型不行嘛，销量肯定能增一增啊喂）

模型拖到场景里，选择 char_ethan_body 这个子物体，看到 Skin Mesh Rendered 组件下有一个 BlendShapes，展开它。

这是个网格变形器，里面能看到不少可以调的参数。我们随便拉动一个，能看到人物脸部会发生相应变化。
这里重要的是前三个 (saySmall/sayMedium/sayLarge)，它是控制人物嘴型的。

2.2.2 Salsa 3D (嘴部动画)

给这个带BlendShape的物体加上 Salsa 3D 脚本。此时Audio Source组件也会被自动加上，因为这个脚本运行是依赖声音的。

看到第三个参数 Audio Clip 为空，我们可以点击右侧圆形图标随便 加一段音频。

然后可以点击 Auto-link Shapes，此时三个嘴型 (SaySmall/SayMedium/SayLarge) 会被自动匹配上，这个对应的就是前面讲的BlendShapes里面的那三个参数。

运行游戏，可以看到人物开始说话了。由此可以知道，插件是通过控制着三个嘴型来实现嘴部的动画效果的。

(脚本后面还有一些参数，可以对说话动画进行修改，各位自行调试看效果，这里就不讲了)

2.2.3 RandomEyes3D (眼部动画)

眼部动画也是类似的。添加 RandomEyes3D 脚本，看到下面 Look Up/Down/Left/Right 这些参数了吧，就是控制人物眼球转动的。然后还有一个 Blink，控制的是眨眼。

这里我不点Auto-Link，因为所有效果都加上，人的眼睛会左右上下的动，看起来实在太睿智。

所以我就只做个眨眼效果，把 Blink 改下。其实还应该把其他的设为 None，可惜没有这个选项。

运行游戏，能看到人物眼睛随机时间间隔进行眨动。

3 人物建模

3.1 思路

插件的原理是根据音频的波形形状，混合三种不同的初始嘴型产生相应的嘴型，那我们的人物模型必须包含这三个初始嘴型 (BlendShape)。

将示例人物模型导入3D max中，能看到BlendShape 对应max中 变形器 这个修改器，我们可以就此入手。

第一种思路，也是最合乎情理的思路，就是给现成的人物面部绑骨。绑好骨骼后，通过控制下颌骨实现人物嘴部开合，并调节嘴唇周围肌肉的形状，就能做出这3个嘴型，最后加到变形器里就可以了。

但因为我不会人物面部的绑骨，所以找到第二种方法。

第二种思路，通过Character Creator人物模型制作软件，生成我们初始的人物模型。这个软件生成的模型是附带全身骨骼的，不需要我们绑骨。其次，软件生成的模型也生成了变形器，能控制嘴部的肌肉。

我们可以直接通过这个带骨骼和变形器的人物模型来进行操作，省去前面的麻烦。

3.2 过程

3.2.1 CC生成裸模

使用 Character Creator 的 Headshot 插件，可以根据照片直接生成模型，非常方便。导入照片等插件运行完，我们细调一下脸部，再调整一下身高大小就可以导出了。

3.2.2 MD制作衣物

在CC中其实是有衣服模型的，但比较少，没有我们想要的。使用 Marvelous Designer 可以制作服饰，我们需要一件短袖加长裤，软件里面刚好自带了这个模板，就直接套用了。

3.2.3 MAX制作嘴型

鞋子模型网上随便找一个，在 3ds Max 给人加上。使用 蒙皮包裹修改器 把衣服的绑定问题解决。后面就是嘴型制作，主要是通过下颌骨骼与生成模型中自带的变形器完成。那么做好后就可以导入Unity里使用了。

3.2.4 详细流程

具体的操作如下，这是当时写的开发文档。导入Unity后还有些要处理的问题，后面部分没截了，反正应该没人真的想做吧。

【Unity人物动画】SALSA With RandomEyes (语音生成嘴型/人物说话) 使用相关推荐

wow修改人物模型_一张照片生成人物动画！三星最新AI研究成果出炉
编 | 韦世玮导语:三星科研人员研发出新的AI图像合成系统,通过单帧图像即可生成高度逼真的动态人物头像. 智东西5月25日消息,据Techcrunch最新报道,来自三星的机器学习(Machine l ...
通过实时语音驱动人像模拟真人说话
元宇宙的火热让人们对未来虚拟世界的形态充满了幻想,此前我们为大家揭秘了声网自研的 3D 空间音频技术如何在虚拟世界中完美模拟现实听觉体验,增加玩家沉浸感.今天我们暂时离开元宇宙,回到现实世界,来聊聊声 ...
声网Agora Lipsync技术剖析：通过实时语音驱动人像模拟真人说话
元宇宙的火热让人们对未来虚拟世界的形态充满了幻想,此前我们为大家揭秘了声网自研的3D空间音频技术如何在虚拟世界中完美模拟现实听觉体验,增加玩家沉浸感.今天我们暂时离开元宇宙,回到现实世界,来聊聊声网自 ...
通过Mixamo生成人物动画并导入Unity实现资源可用的方法
通过Mixamo生成人物动画并导入Unity实现资源可用的方法: 文章要点: 如何通过Mixamo生成人物动画在Mixamo中生成的模型及动画导入Unity的设置(保持原有材质) 在Unity中利用 ...
【unity实战】随机地下城生成3——设置人物移动脚本、动画的切换和摄像机的跟随（含源码）
给房间添加触发器碰撞体,用来判断角色是否进入房间切割人物图片,注意人物每个图片高度可能不同,所有我们需要把轴心调整到人物的底部把人物跑步图片的高度,统一调成20,下面镂空,达到跳跃的效果快速创造 ...
unity人物旋转移动代码_游戏诞生之日02 - 美术篇快速制作人物动画
在上一篇<游戏诞生之日01 - 美术篇快速搭建和渲染游戏的第一个场景>里,我们得到了一个静态渲染的游戏场景. 接下来我们需要加入人物动画,为游戏注入活力. 第五块拼图 - 动画素材从哪里 ...
【游戏开发实战】使用Unity制作像天天酷跑一样的跑酷游戏——第一篇：人物动画序列帧
文章目录一.前言二.创建工程三.导入序列帧图片素材四.设置图片格式五.切割序列帧六.制作序列帧动画七.运行效果一.前言嗨,大家好,我是新发,今天是大年初一,大家牛年快乐,牛气冲天. ...
Unity Animation从UAS获取动画资产到编制状态机控制简单的人物动画
Animation 动画 0.前言这个笔记用于讨论在Unity中开发游戏时使用动画的相关知识. 这个笔记最终期望能够达到:在Unity的Demo中展现一个人物,其能够进行类似挥拳.开门的具体动作. ...
Unity 避免在人物动画上使用关键帧
有时候人物触发事件需要对人物的动画做出调整,比如我想在人物进入下一关时实现旋转变小就像这样但是我发现我添加了这个动画以后,我的人物移动没法改朝向了. 原来是在添加关键帧的时,Unity会将你记录更改 ...

【Unity人物动画】SALSA With RandomEyes (语音生成嘴型/人物说话) 使用