Transformer又又来了，生成配有音乐的丝滑3D舞蹈，开放最大规模数据集AIST++

出自论文：

Learn to Dance with AIST++: Music Conditioned 3D Dance Generation

来自谷歌等单位的学者提出一个基于 transformer 的学习框架，用于以音乐为条件的3D舞蹈生成。设计了一个全新的网络框架，并验证得出获得高质量结果的关键。其中组件之一是深度跨模态 transformer，可以很好地学习音乐和舞蹈运动之间的相关性，并且具有 future-N 机制的全注意力在产生长距离 non-freezing 运动中至关重要。

合成 demo：

AIST++ 数据集

AIST++ 舞蹈运动数据集是从 AIST Dance Video DB 构建的。对于多视角视频，设计一个完美的 pipeline 来估计摄像机参数、3D人体关键点和3D人体舞蹈运动序列。

提供了 10.1M 张图像的 3D 人体关键点标注和相机参数，涵盖 9 个视角的 30 个不同主体。以此成为现有的最大、最丰富的三维人体关键点标注数据集。
还包含了 1408 个三维人体舞蹈运动序列，以 joint rotations 和 root trajectories 一起的形式表示。舞蹈动作平均分布在 10 个舞蹈流派和数百个编排中。动作持续时间从7.4秒到48.0秒不等。所有的舞蹈动作都有相应的音乐。

通过以上的标注，AIST++ 支持以下任务。

多视角人体关键点估计
人体运动预测/生成
人体运动和音乐之间的跨模态分析

数据集以不同的方式被分割成训练/验证/测试集，用于不同的目的。

对于人类姿势估计和人类运动预测等任务，作者建议使用表 1 中描述的数据分割。

对于处理运动和音乐的任务，如音乐条件运动生成，建议使用表 2 中描述的数据分割。

作者 | Ruilong Li, Shan Yang, David A. Ross, Angjoo Kanazawa

单位 | 南加利福尼亚大学；谷歌；伯克利

论文 | https://arxiv.org/abs/2101.08779

数据集 | https://google.github.io/aistplusplus_dataset/

主页 | https://google.github.io/aichoreographer/

END

备注：TFM

Transformer交流群

讨论Transformer在CV领域的应用。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看，让更多人看到

Transformer又又来了，生成配有音乐的丝滑3D舞蹈，开放最大规模数据集AIST++相关推荐

膨胀卷积神经网络_用膨胀的卷积神经网络生成钢琴音乐
膨胀卷积神经网络介绍 (Introduction) Fully convolutional neural networks consisting of dilated 1D convolutions ...
《信号与系统》实验-使用 MATLAB 进行生成数字音乐、生成乐器音乐、音乐处理与添加音乐特效（题目）
使用 MATLAB 进行生成数字音乐.生成乐器音乐.音乐处理与添加音乐特效实验要求第一部分:生成数字音乐目标: 通过运用MATLAB生成音乐信号,熟悉信号的数学表达.信号的离散表达: 学习MAT ...
PYthon调整音乐音量，生成空白音乐
PYthon调整音乐音量,生成空白音乐使用情景代码使用情景做短视频编辑的时候,有时候需要调节音频的音量,以下代码可以解决,直接上代码. 代码 from moviepy.editor impor ...
谷歌开源3D舞蹈生成模型FACT，舞姿清奇！
文 | 御坂弟弟出品 | OSC开源社区(ID:oschina2013) 谷歌开源了其基于 AIST++ 的 3D 舞蹈生成模型 FACT.该模型不仅可以学习音乐-运动对应关系,还可以生成以音乐为基 ...
3d 自动生成物体_CVPR2020论文介绍： 3D 目标检测高效算法
CVPR2020论文介绍: 3D 目标检测高效算法 CVPR 2020: Structure Aware Single-Stage 3D Object Detection from Point Clo ...
使用transformer实现超高质量唐诗生成
0.概述唐诗生成在汉语的nlp领域应用非常广泛,从传统的RNN.LSTM.Attention生成质量被不断提升.随着Transformer模型提出很多NLP的深度学习模型都被改写.那么Transfo ...
计算机和音乐结合的作品,人们将计算机生成的音乐与JS巴赫的作品混为一谈
机器人革命已经成为古典音乐作品. 耶鲁大学计算机科学系的讲师Donya Quick已经建立了一个计算机程序,可以创建大学所报道已经混淆了一些"音乐成熟者"的音乐,认为它是由JS巴赫 ...
比Imagen更高效！谷歌新作Muse：通过掩码生成Transformer进行文本到图像生成
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入->CV微信技术交流群转载自:机器之心图像生成领域越来越卷了! 文本到图像生成是 2022 ...
如何将一首网易云音乐，生成一个音乐二维码？
有人说,阿黛尔的[Someone like you]这首歌名的中文翻译是:终有弱水替沧海,再无相思寄巫山: 有人说,他家的猫听了马克西姆的[出埃及记]后,再也没有回来: 有人说,他失恋了,听火星哥的[ ...

Transformer又又来了，生成配有音乐的丝滑3D舞蹈，开放最大规模数据集AIST++

AIST++ 数据集

Transformer又又来了，生成配有音乐的丝滑3D舞蹈，开放最大规模数据集AIST++相关推荐

最新文章

热门文章