SIGGRAPH 2022 | 基于GAN的新动作合成

来源机器之心编辑：杜伟、陈萍

酷炫的神经动作合成技术，单个序列就能完成。

生成逼真且多样化的人体动作是计算机图形学的长期目标。对于动作建模和合成来说，研究者通常使用概率模型来捕获有限的局部变化或利用动作捕捉（mocap）获得的大型动作数据集。在阶段设置（stage-setting）和后期处理（例如，涉及手动数据清理）中，使用动作捕捉系统捕获数据的成本很高，并且动作数据集通常是有限制的，即它们缺乏所需的骨骼结构、身体比例或样式。利用动作数据集通常需要复杂的处理，例如重新定位，这可能会在原始捕获的动作中引入错误。

近日，来自苏黎世联邦理工学院、谷歌、芝加哥大学等机构的研究者开发了一个框架 GANimator，该框架能够产生不同且逼真的动作，只使用一个单一的训练序列。这一框架大大简化了数据收集过程，同时允许创建逼真的动作变化，还可以准确地捕捉单独动作序列细节。该研究入选 SIGGRAPH 2022。

论文地址：https://arxiv.org/pdf/2205.02625.pdf
项目地址：https://peizhuoli.github.io/ganimator/

我们先来看如下效果图，左边输入的是单个动作序列，右边是生成结果：

GANimator 框架也可以处理动物类的输入：

群体动画。GANimator 框架训练了一个单一的螃蟹舞蹈序列，可以生成各种新颖的运动：

GANimator 框架也可以混合不同的序列，生成一个动作序列：

上述示例说明 GANimator 框架是生成新动作的有效工具，它可以仅使用短动作序列作为输入来合成较长、多样和高质量的动作序列。

方法概览

研究者提出的生成模型可以从单个动作序列中学习，采用的方法受到了图像领域最近使用渐进式生成的工作以及在单个示例上训练深度网络的工作的启发。接下来详细介绍分层框架、动作表征和训练流程的主要构建块。

动作表征

研究者通过一个

SIGGRAPH 2022 | 基于GAN的新动作合成相关推荐

CVPR 2022 | 基于GAN生成艺术文字logo及布局
来源 | 机器之心下图的每对 logo 中,一个是设计师设计的 logo,另一个是 AI 模型生成的,顺序不确定,你能分辨出哪些是 AI 模型生成的吗?(答案在文末揭晓) 文字标志(text log ...
Nat. Mach. Intell. | FFPred-GAN：“以假乱真“—基于GAN创建合成特征样本改进蛋白质功能预测...
今天给大家介绍伦敦大学学院David T. Jones 教授课题组发表在Nature Machine Intelligence 的一篇文章.文章中指出,现存的蛋白质功能预测方法受限于训练样本量的瓶颈, ...
浙大提出神经3D重建新工作！收录图形学顶会SIGGRAPH 2022
梦晨发自凹非寺转载自:量子位(QbitAI) 以NeRF为代表的神经渲染技术高速发展,学界已经不满足合成几个新视角让照片动起来了. 接下来要挑战的是根据照片直接输出3D模型,可以直接导入到电影. ...
CVPR 2022｜处理速度仅用0.2秒！港科大腾讯AI lab开源基于GAN反演的高保真图像编辑算法...
作者丨Tengfei Wang 来源丨港科大.腾讯 AI Lab 编辑丨极市平台论文:https://arxiv.org/abs/2109.06590 代码:https://github.com/T ...
Ruoyi-Vue若依前后端分离版 2022年5月基于代码生成器的新模块添加
Ruoyi-Vue若依前后端分离版 2022年5月基于代码生成器的新模块添加在ruoyi数据库的基础上.编辑好自己的数据库表启动ruoyi前后端,进系统使用代码生成器将生成的代码导入到现有的项 ...
Xue Bin Peng获SIGGRAPH 2022最佳博士论文，太极胡渊鸣获提名
来源:机器之心 ACM SIGGRAPH 是计算机图形学顶级国际学术会议,创立于 1974 年,已经发展成为由对计算机图形学和交互技术感兴趣的研究人员.艺术家.开发人员.电影制作人.科学家和商业人士组 ...
SIGGRAPH 2022最佳技术论文奖重磅出炉！北大陈宝权团队获荣誉提名
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载自:新智元 | 编辑:David [导读]SIGGRAPH ...
【人工智能专题】基于 GAN 的艺术风格化——图像风格迁移
原文:https://mp.weixin.qq.com/s?__biz=MzAxMzEwMDM2Mg==&mid=2652847175&idx=3&sn=51dcb41bc5c ...
2D秒变3D！视角还能随意切！华为上交提出：CIPS-3D：基于GAN的3D感知生成器
明敏发自凹非寺来源:量子位(QbitAI) 如果让GAN生成的逼真人像变成3D版,会怎样? 仿佛有摄像机对着人像直拍,正面.侧面.仰视.俯视不同角度都能展现. 真的有种人要从画中走出来那味儿了. ...

SIGGRAPH 2022 | 基于GAN的新动作合成

SIGGRAPH 2022 | 基于GAN的新动作合成相关推荐

最新文章

热门文章