图灵奖得主Geoffrey Hinton最新研究：利用神经网络对有关节三维模型进行估计的方法NASA
NASA: Neural Articulated Shape Approximation
论文作者：
Timothy Jeruzalski, Boyang Deng, Mohammad Norouzi, JP Lewis, Geoffrey Hinton, Andrea Tagliasacchi（Google Research）
点此进入“论文地址”
前言
本文对《NASA: Neural Articulated Shape Approximation》进行解读，这篇文章提出了利用神经网络对有关节、可变形的三维模型进行估计的方法，与传统方法相比，NASA具有复杂度低、模型水密性好、分辨率高、模型估计效果好等优势。
简介
随着深度学习在计算机视觉以及图形学领域起到了越来越重要的作用，越来越多的方法基于神经网路模型建立了对三维几何模型的表达。然而，这些工作主要基于普通的不可变形的三维模型，对具有关节结构的可变形的三维模型的研究依然很少。但由于具有关节结构的三维模型包含了人体模型，广泛应用于游戏、电影、虚拟现实以及增强现实等领域，因此对于这类模型的研究便十分重要。
在本文中，作者提出了一种新的方法用于训练解码器D来估计有关节的三维模型，解码器生成的三维模型通过指示函数（indicator function）来表示，这一指示函数以三维模型的姿态作为参数，输入为三维空间中的点x，当该点位于三维模型内时，输出为1；位于三维模型外时，输出为0。与其他方法不同的是，NASA专注于通过姿态参数来估计三维模型的指示函数，这些姿态参数描述了三维模型是如何变形的。
这篇论文的贡献在于：
1.提出了一种通过神经网络估计有关节可变形的三维模型的方法；
2.通过明确地在网络中表示模型的变形结构，利用更少的模型参数实现了与之前方法相比相似的性能和更好的泛化能力；
3.指示函数这一表示方式支持交集和碰撞查询，无需再将其转换为其他的三维模型表示方式；
4.模型结果与之前的方法相比能够更好地学习三维人体模型的动作。
图1：NASA模型生成效果（来源【7】）
相关工作
对于有关节的三维模型的变形，传统上采用蒙皮算法（Skinning algorithms），将三角网格曲面上的顶点的变化与三维模型骨架的变化结合起来，其中LBS（Linear Blend Skinning）算法【1】将变换后的顶点表示为与该顶点相关联的骨架对该点的影响的权重和，但LBS算法也存在“collapsing elbow”以及“candy wrapper”的问题【2】。对于三维模型的表示，研究者们提出了一系列基于深度学习的方法对三维模型分块进行表示【3】【4】。对于指示函数这一基于隐式场的三维模型表示方式，也存在很多相关的工作【5】，但这些工作并没有考虑变形的因素。
NASA模型介绍
1.非结构化模型（Unstructured model – “U”）
2.分片刚体模型（Piecewise rigid model – “R”）
3.分片可变形模型（Piecewise deformable model – “D”）
4.实现细节
实验结果
模型效果在2D以及3D数据集上分别进行了测试，模型的表现通过预测结果与ground-truth之间的交并比来评测。
1.二维数据
二维数据集包含了100组动作，在这一数据集几何形状的生成通过两种方式：①对于刚性数据集，包含了一组形状的集合，每个形状对应了模型的每个骨架，在整个模型的姿态发生变化的过程中，每个单独的形状不会发生变化。②对于混合数据集，则通过LBS算法得到变形的形状。对二维数据集的实验结果如下图所示：
图3：二维数据估计效果（来源：【7】）
图4：分片刚体模型R估计效果（来源：【7】）
图5：分片可变形模型D估计效果（来源：【7】）
可以看到，对于训练集，三种方法都拟合出了较为不错的效果，对于结构化的两种方法，由于“D”并没有限制每一个part不能改变形状，因此“D”相较于“R”在LBS数据集上具有更好的效果。但是，“U”与“D”都有过拟合的现象产生，只有“R”在测试集上依然表现出了不错的效果。
图6：在测试集上的效果（来源：【7】）
2.三维数据
对于三维模型的测试在AMASS数据集【6】上实现，实验结果如下所示，与二维数据的结果类似：
图7：在三维数据集上的效果（来源：【7】）
总结
本文提出了一种新的思路，利用深度学习的方法，通过模型的姿态参数来估计有关节可变形的三维模型，并比较了结构化模型（R, D）相较于非结构化模型（U）具有更高的效率以及更好的泛化能力。这一方法的提出对表示复杂的有关节模型例如人体具有重要意义。
未来方向：
1.“R”相较于“D”在实验中展示出了更好的泛化能力，但“D”在一些场景下依然具有较高的利用价值，是否可以将这两种模型进行结合；
2.对于可变形模型来说，是否可以学习到模型的姿态参数{B_b}；
3.是否可以用符号距离函数来代替当前的指示函数；
4.NASA是否可用于differentiable rendering；
5.可变形的三维模型的运动的表示方式是否可以只通过二维信息来获取。
参考文献：
【1】Alec Jacobson, Zhigang Deng, Ladislav Kavan, and J.P.Lewis. Skinning: Real-time shape deformation. In ACMSIGGRAPH Courses, 2014.
【2】J. P. Lewis, Matt Cordner, and Nickson Fong. Pose spacedeformation: A unified approach to shape interpolation andskeleton-driven deformation. In Proceedings of the 27thAnnual Conference on Computer Graphics and InteractiveTechniques, SIGGRAPH ’00, pages 165–172, New York,NY, USA, 2000. ACM Press/Addison-Wesley PublishingCo.
【3】Dominik Lorenz, Leonard Bereska, Timo Milbich, andBjÃ˝urn Ommer. Unsupervised part-based disentangling ofobject shape and appearance. arXiv:1903.06946, 2019.
【4】Lin Gao, Jie Yang, Tong Wu, Yu-Jie Yuan, Hongbo Fu, YuKun Lai, and Hao Zhang. Sdm-net: deep generative networkfor structured deformable mesh. ACM TOG, 2019.
【5】Jeong Joon Park, Peter Florence, Julian Straub, RichardNewcombe, and Steven Lovegrove. DeepSDF: Learningcontinuous signed distance functions for shape representation. CVPR, 2019.
【6】Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive ofmotion capture as surface shapes. ICCV, 2019.
【7】Jeruzalski, T., Deng, B., Norouzi, M., Lewis, J. P., Hinton, G., & Tagliasacchi, A. (2019). NASA: Neural Articulated Shape Approximation. arXiv preprint arXiv:1912.03207.
作者| 肖云鹏
排版| 学术菠菜
校对| 学术青 会会
责编| 学术青 优学术
往期回顾：
【NeurIPS100】NeurIPS2019 七篇获奖论文揭晓 入选论文深度分析！
【NeurIPS100】谷歌、Facebook、斯坦福等十篇机器学习最新论文解读
【NeurIPS100】NeurIPS2019高产华人作者都有谁？哪篇论文引用量最高，看这篇就够了！
图灵奖得主Geoffrey Hinton最新研究：利用神经网络对有关节三维模型进行估计的方法NASA相关推荐
- 图灵奖得主Geoffrey Hinton：脱缰的无监督学习，将带来什么
与6位图灵奖得主和100多位专家 共同探讨人工智能的下一个十年 北京智源大会倒计时:4天 在即将举行的第二届北京智源大会上(官网:https://2020.baai.ac.cn),图灵奖获得者Geof ...
- 图灵奖得主Geoffrey Hinton：我的五十年深度学习生涯与研究心得
来源:数据派THU & 机器学习初学者 作者:王菁 林亦霖 沈佳丽 程浩源 许菡如 胡燕君 贾川 编辑:新智元 他从未正式上过计算机课程,本科在剑桥大学读的是生理学和物理学,期间曾转向哲学,但 ...
- 图灵奖得主Geoffrey Hinton：我的五十年深度学习生涯与研究心法
来源:The Robot Brains Podcast 机器学习初学者翻译:沈佳丽.程浩源.许菡如.胡燕君.贾川 本文约7500字,建议阅读15分钟本文介绍了Hinton非常坦诚地分享了自己的学术生涯 ...
- 图灵奖得主Yann LeCun最新访谈！
Datawhale干货 编辑:泽南.小舟,来源:机器之心 在最近一次访谈中,Meta AI 人工智能先驱 Yann LeCun 点出了下一代人工智能技术的三大主要挑战. Yann LeCun(杨立昆) ...
- 图灵奖得主 Adi Shamir最新理论，揭秘对抗性样本奥秘
来源: 智源社区 导读:为什么模型会将「猫」识别成「牛油果酱」,将「猪」识别成「飞机」? 要回答这个问题,就涉及到对抗性样本(Adversarial examples).对抗性样本指在原始样本添加一些 ...
- 【深度学习】Hinton 最新研究：神经网络的未来是前向-前向算法
来源:AI科技评论 作者:李梅.黄楠 编辑:陈彩娴 在未来万亿参数网络只消耗几瓦特的新型硬件上,FF 是最优算法. 过去十年,深度学习取得了惊人的胜利,用大量参数和数据做随机梯度下降的方法已经被证明是 ...
- Hinton 最新研究：神经网络的未来是前向-前向算法
来源:AI科技评论 作者:李梅.黄楠 编辑:陈彩娴 在未来万亿参数网络只消耗几瓦特的新型硬件上,FF 是最优算法. 过去十年,深度学习取得了惊人的胜利,用大量参数和数据做随机梯度下降的方法已经被证明是 ...
- 找啊找啊找木偶，图灵奖得主G. Hinton第一篇论文曝光！
作者 | Geoffrey Hinton 译者 | 李倩 编辑 | 一一 出品 | AI科技大本营(ID:rgznai100) 摘要 针对在具有重叠结构的透明矩形中寻找木偶这一问题,Hinton大神想 ...
- 【AI】图灵奖得主 Yann LeCun 最新文章 ：自监督学习，人工智能世界的“暗物质”...
来源:AI前线 作者:Yann LeCun ,Ishan Misra 近年来,AI 产业在开发"可以从大量经过细致标记的数据中学习的 AI 系统"这个研究领域上取得了巨大进步.这种 ...
最新文章
- 投影与三维视觉——本征矩阵和基础矩阵
- PHP做下载文件的方法
- OAF TABLE中添加序号列
- linux中oracle静默安装失败,oracle 11 Linux 静默安装 步骤及错误解决（更新中）
- 开发办公APP时间估算
- UVA307 Sticks小木棍
- 使用代码判断某个note是否已经implemented
- 干货收藏！639页《深度学习：Deep Learning》图文并茂课程PPT
- python输出引号内的变量值_引号中的Python变量值
- 命令模式（3）-宏命令
- 【万用表识别】基于matlab数字仪表识别【含Matlab源码 693期】
- Win7 64位操作系统连接HP 1010打印机完美解决方案
- 论文代码复现 | 无人机与卡车联合配送(Python+Gurobi)(The flying sidekick traveling salesman problem)
- React Native布局实践：开发京东客户端首页（四）——首页功能按钮及控件封装
- 深度学习基础--输出层的神经元数应该与分类数匹配(分类数大于等于2)则是一个监督学习任务，对吗？
- 怎么领支付宝大红包？技术方面有这三大考量！
- 笔记本电脑没有声音如何解决
- 什么是游戏盾？快快网络安全产品
- 旅途——Python基本的“生存技能”
- cobar rule 简介