AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control

来源: SigGraph2021
研究方向: 动作生成
链接: https://arxiv.org/abs/2104.02180

文章动机

动作生成的总体方案可以分为kinematic methods和physics-based的方法。

kinematic methods基本上不会使用显式的运动方程与生成动作，相反会借助大量的motion clip去进行学习。给定一个动作库之后，kinematic-based methods通常会学习如何从动作库中挑选motion clip来进行动作合成，这样的一种方案使得kinematic-based method往往能够得到大量的可以做的很复杂的动作，但是缺点是kinematic-based method在一些复杂环境中的动作生成不是很好，对于陌生环境的适应性比较差。
physics-based的方法比较好的一点是复杂环境下无法手机数据时，可以通过physics-based的方法来与环境进行一定程度的交互，而提高模型的动作生成质量。

这篇文章是想借助动作数据和物理环境，融合两种方案的优势。数据驱动的kinematic method可以生成细腻且高质量的动作，因此可以进行low-level的控制，而physics-based method可以在与环境交互的过程中完成某项任务，因此可以借助DRL算法来规划agent的路径，一旦把两者结合起来，就可以进行low level的动作控制和high-level的路径规划，保证机器人向目标走去时保持真实的motion。

方案实施

上图中r_t^S是通过GAN判别生成的动作和reference motion的可信度，把这样的损失转换为强化学习过程中的reward，而r_t^G则是衡量机器人有没有到目标位置的reward。通过实现的进行交互，得到大批量的数据后，到replay buffer中供PPO算法学习动作策略用。

方案可行性

很可行，也有开源代码，将DRL和GAN进行结合已经不是第一篇了，这个思路很直观，但训练难度肯定大，出乎意料的是，作者的实现版本还比较成功。

结论

AMP算法还是不够稳定，在扩大数据集规模，或者增加动作类别时，容易让GAN网络陷入模式坍塌中，及经过motion prior精细控制的动作可能样式不会太丰富，有可能只会走这一种类别的步态。

AMP Adversarial Motion Priors for Stylized Physics-动作生成算法相关推荐

Learned Motion Matching-动作生成算法
Learned Motion Matching 来源: SigGraph2021 研究方向: 动作生成链接: https://dl.acm.org/doi/pdf/10.1145/3386569.3 ...
Talk | 东京大学博士生刘海洋：多模态驱动谈话动作生成-质量与多样性
本期为TechBeat人工智能社区第471期线上Talk! 北京时间2月1日(周三)20:00,东京大学情报理工系博士生--刘海洋的Talk将准时在TechBeat人工智能社区开播! 他与大家分享的主 ...
打破两项世界纪录，腾讯优图开源视频动作检测算法DBG
近日,腾讯优图实验室提出一种新的视频动作检测算法DBG并开源,这是继今年4月人脸检测算法DSFD开源后,优图的又一次开源动作. 目前,DBG算法在全球两大权威视频动作数据集ActivityNet-1. ...
腾讯开源视频动作检测算法DBG，打破两项世界纪录！
点击我爱计算机视觉标星,更快获取CVML新技术本文转自腾讯优图. 近日,腾讯优图实验室提出一种新的视频动作检测算法DBG并开源,这是继今年4月人脸检测算法DSFD开源后,优图的又一次开源动作. 目前 ...
深圳内推 | 遇见森林招聘角色动作生成/NLP算法工程师（全职/兼职/实习）
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 遇见森林 moriverse 遇见森林致力于通过3DCG+人工智能技术,在 ...
Princeton NLP Group姚顺雨博士：文本游戏中基于语言模型的动作生成
⬆⬆⬆ 点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! "你在卧室,东边是一个走廊,西边有一个紧闭的木门,屋子中间有一个厚地毯,一个储物柜,你有一个 ...
【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法)
[李宏毅深度强化学习笔记]1.策略梯度方法(Policy Gradient) [李宏毅深度强化学习笔记]2.Proximal Policy Optimization (PPO) 算法 [李宏毅深度强化 ...
腾讯AI Lab招聘动作生成方向实习生
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入->[AI求职]微信技术交流群腾讯AI Lab招聘动作生成方向实习生参与动作预训练模型或语 ...
SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking
链接 arxiv:https://arxiv.org/abs/2211.12194 Project page:https://sadtalker.github.io/ 摘要通过人脸图像和一段语音音频 ...

AMP Adversarial Motion Priors for Stylized Physics-动作生成算法

AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control

文章动机

方案实施

方案可行性

结论

AMP Adversarial Motion Priors for Stylized Physics-动作生成算法相关推荐

最新文章

热门文章