Learned Motion Matching

来源: SigGraph2021
研究方向: 动作生成
链接: https://dl.acm.org/doi/pdf/10.1145/3386569.3392440

Motion Matching如今已经是3A游戏处理locomotion的主流方法了。

文章动机

一个传统的motion matching算法可能分为一下几步。用户输入控制信号后，将其投影到特征空间，然后在这个特征空间中找到与其最相近的特征x，然后进一步找到特征x对应pose，将pose输出，就完成来初始动作下，输入控制信号，让人物的状态进行转移的任务。经历若干个step后，再根据控制信号寻找合适的motion，而motion之间的transition，则直接通过blending进行平滑过渡。
可以看到，motion matching分为三个部分，第一步是找到合适的特征空间，然后在这个特征空间中根据输入信号找到最近邻；第二步是解压缩，要把查找到的目标feature重新映射回反正的目标动作；第三步是stepping，根据当前的状态，逐步的推出下一个state的feature以及解压缩出pose。
而上面提到的第一步的特征匹配，寻找最近邻的过程是需要数据库支持进行匹配的，难免内存开销会很大；此外根据查找的feature重新解压缩pose的过程也不一定能完美的进行还原，因此就有了learned motion matching的这篇文章。

方案实施

可以看到，相较于基础版的motion match算法，learned motion matching算法中加入在由feature解压缩动作时，额外添加了隐变量z来作为新添加的特征，具体的，这个z由将x作为输入，通过一个auto encoder学习到的，然后通过x和z，共同将pose还原出来。
在Stepper部分，对于传统的motion matching，就是根据x对应的motion库中的index，直接增加index，就能得到下一帧的pose了。但是LMM需要把这个motion库给去掉，所以作者train了一个自回归的网络，能够根据当前的x和z,来推测下一时刻的x和z。
最后是Projector部分，这一块，是期望将motion matching寻找最近邻feature的部分，通过学习的方式得到。原始的方法需要存储所有可能的x和z，而learning的方法，通过sample各种可能的用户输入（x帽），然后寻找最近的x和z，组成pair的数据，从而可以train对应的projector，

方案可行性

结论

LMM模型结合和神经网络和现有motion matching方法可扩展性强的有点，在动作质量，性能以及内存使用上取得了SOTA的效果。

Learned Motion Matching-动作生成算法相关推荐

Talk | 东京大学博士生刘海洋：多模态驱动谈话动作生成-质量与多样性
本期为TechBeat人工智能社区第471期线上Talk! 北京时间2月1日(周三)20:00,东京大学情报理工系博士生--刘海洋的Talk将准时在TechBeat人工智能社区开播! 他与大家分享的主 ...
AMP Adversarial Motion Priors for Stylized Physics-动作生成算法
AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control 来源: SigGraph2021 研究方向: 动 ...
深圳内推 | 遇见森林招聘角色动作生成/NLP算法工程师（全职/兼职/实习）
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 遇见森林 moriverse 遇见森林致力于通过3DCG+人工智能技术,在 ...
打破两项世界纪录，腾讯优图开源视频动作检测算法DBG
近日,腾讯优图实验室提出一种新的视频动作检测算法DBG并开源,这是继今年4月人脸检测算法DSFD开源后,优图的又一次开源动作. 目前,DBG算法在全球两大权威视频动作数据集ActivityNet-1. ...
腾讯开源视频动作检测算法DBG，打破两项世界纪录！
点击我爱计算机视觉标星,更快获取CVML新技术本文转自腾讯优图. 近日,腾讯优图实验室提出一种新的视频动作检测算法DBG并开源,这是继今年4月人脸检测算法DSFD开源后,优图的又一次开源动作. 目前 ...
Motion Matching
Motion Matching 输入: 预期轨迹和其他特征的 feature 输出: 最匹配的 pose 具体来说一个传统的motion matching分为以下几步: Projection: 当用户 ...
Princeton NLP Group姚顺雨博士：文本游戏中基于语言模型的动作生成
⬆⬆⬆ 点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! "你在卧室,东边是一个走廊,西边有一个紧闭的木门,屋子中间有一个厚地毯,一个储物柜,你有一个 ...
美团技术分享：深度解密美团的分布式ID生成算法
本文来自美团技术团队"照东"的分享,原题<Leaf--美团点评分布式ID生成系统>,收录时有勘误.修订并重新排版,感谢原作者的分享. 1.引言鉴于IM系统中聊天消息I ...
腾讯AI Lab招聘动作生成方向实习生
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入->[AI求职]微信技术交流群腾讯AI Lab招聘动作生成方向实习生参与动作预训练模型或语 ...

Learned Motion Matching-动作生成算法

Learned Motion Matching

文章动机

方案实施

方案可行性

结论

Learned Motion Matching-动作生成算法相关推荐

最新文章

热门文章