以下是研究朱松纯FPICU概念中U（utility）的相关论文记录：

读后感：

作者干了什么事？
- （1）算法能够预测当人们与物体交互时，身体各个部位(臀部、背部、头部、颈部、手臂、腿等)所承受的力/压力。
- （2）这本质上也定义了人体的效用，如舒适性，从而可以解释人的偏好、预估人的行为（比如某种形态的椅子，会推出哪种类型的坐姿）。
怎么实现的？
- 使用Kinect传感器捕捉火柴人模型。首先将其转换为四面体人体模型，然后将其分割为14个身体部位。使用有限元模拟，在有限元的网格的每个顶点处估算力。
- 定义了8种类型椅子，7种类型坐姿。通过枚举所有位姿并在求解空间中随机采样，对超过4000种不同的情况进行分类，使用排序函数。
前提条件是什么？
- RGBD数据及其骨架识别。
- 预先定义的几种坐姿类型、几种椅子形态。
- 一个自行设计的基于物理的软体模拟（算法或软件），软体人由2000个顶点组成。
是否可迁移应用？
- 设计的建模软件似乎很有新意。

《Inferring Forces and Learning Human Utilities From Videos》

《从视频中推断力量和学习人类效用》，作者Yixin Zhu等5人，CVPR 2016，代码：https://github.com/xiaozhuchacha/ChairPerson

摘要

我们提出一个功能可见性的概念,考虑物理量时生成人体与真实世界的物体,并介绍一个学习框架,包含了人类工具的概念,这在我们看来不仅提供了一个更深、更细粒度的帐户对象的给养,也人与对象交互。我们没有根据身体姿态和3D对象之间的几何兼容性来定义可视性，而是设计了使用基于物理的模拟来推断作用于身体部位的相关力/压力的算法。通过观察人们在视频中做出的选择(特别是在选择坐的椅子时)，我们的系统就能了解施加在身体部位上的力的舒适间隔(当人们坐着的时候)。我们根据人的效用来考虑人们的偏好，它超越了舒适间隔来考虑场景中有意义的任务和运动规划中的时空约束，例如机器人的任务规划。

1 介绍

近年来，人们对计算机视觉和图形学中对象可视性的研究越来越感兴趣。由于许多对象类，特别是人造对象和场景布局，主要是为人类目的而设计的，对对象启示的最新研究包括对几何和功能的推理，从而比传统的基于外观的机器学习方法对未见实例实现更好的概括。特别是，Grabner等人[19]通过将典型的人体坐姿调整到3D对象上，设计了一种座椅启示检测器。

在本文中，我们提出超越可见的几何兼容性，通过基于物理的模拟，来推断当人们与物体交互时，身体各个部位(臀部、背部、头部、颈部、手臂、腿等)所承受的力/压力。

通过观察人们年代选择以视频为例,在选择一个特定的椅子来坐的椅子可以在一个场景(图1),我们可以学习身体部位的舒适区间压力以及人类偏好分发这些压力在身体部位。因此，当施加在身体部位的力/压力超过舒适区间时，我们的系统能够感受到数值上的不适。我们认为，这是代表人类效用的重要一步，即经济学和伦理学(如哲学家杰里米·本尼特[Jeremy Benthem]所定义的快乐和满足，驱动着人类各个层面的活动。在我们的工作中，“人的效用”解释了人们在一个场景中为什么会选择一把椅子，以及他们如何调整自己的姿势来使自己坐得更舒服，不仅提供了对物体可视性的更深入、更细致的描述，还提供了视频中观察到的人们的行为。

图1所示。在(a)办公室和(b)会议室坐着活动的例子。除了几何形状和外观，人们在选择一把椅子时还会考虑其他重要的因素，包括舒适性、达到的成本和社会目标。直方图显示了人类对不同候选椅子的偏好。

除了身体压力的舒适间隔，我们对人类效用的概念也要考虑在内：(i)的任务在一个场景为例,学生与教授交谈在办公室(图1 (a))或参加电话会议在实验室(图1 (b)),人们必须参加其他对象和人类,和(2)的空间约束有计划运动例如,成本达到一把椅子在远处。在一个成熟的应用程序中，我们演示了可以使用人工工具来分析人类活动，比如在机器人任务规划上下文中。

1.1 相关工作

可视性建模:可视性的概念首先是由Gibson[18]引入的。Hermans等人[24]和Fritz等人[15]预测了自主机器人的动作地图。后来，研究人员通过观察人们与3D场景的互动，将启示线索纳入形状识别[11,14,64]。通过添加几何约束，一些研究人员计算了一小组离散位姿的对齐[19,20,32]。Kim等人[37]通过搜索形状的连续位姿参数空间，获得了形状与人体骨骼之间的精确对齐。最近，Savva等人[53]预测了3D场景中可能发生动作的区域。在场景标记和对象放置中使用可视性的应用在[31,30,29]中有报道。一个密切相关的话题是推断场景中的稳定性和支持关系[28,70,41]。

从视频中推断力:对于姿态跟踪，Brubaker等人[5,7,6]使用质量-弹簧系统估计接触力和内部关节力矩。最近，Zhu等人和Pham等人[72,51]使用数值微分方法来估计手操纵力。这些方法要么局限于刚体问题，要么使用过于简化的人体模型，这些模型在模拟场景中任意三维物体的人体交互细节方面是不够的。在计算机图形学中，软体仿真被用于联合跟踪人手并计算视频中的接触力[67,63]。

机器人技术中的任务规划:机器人技术在寻求通过合成轨迹理解人类运动方面有着悠久的历史。通过二维人体运动合成进行分层任务规划[73]，但这些模型仅限于二维运动规划和相对简单的面向位置的目标。[36]等更复杂的模型试图在肌肉骨骼水平上理解以任务为导向的人体运动，但它们没有考虑到整个3D环境的上下文。为了合成逻辑轨迹，我们依赖于为机器人控制应用(例如[17])开发的鲁棒规划算法，并且我们通过合成合理的人类轨迹，将这些前向规划引擎应用于场景理解，这是[38]一个被充分研究的机器人问题。

图形中基于物理的人体模拟:基于物理的模拟可变形物体的技术在该课题的开创性工作后被广泛应用于计算机图形学[61,60]。弹塑性材料的常用模拟方法包括质点-弹簧阻尼系统[45,62]、有限元法(FEM)[59, 27, 44, 23]和物质点法(MPM)[56, 57]。我们采用有限元法，因为它是物理上准确，鲁棒和计算效率。在各种变形实体中，人体因其在电影和游戏角色动画中的重要作用而备受关注。之前有大量研究将人体解剖结构建模为包括脂肪组织在内的生物力学肌肉骨骼系统[39,40,54,52]。为了提高效率，我们的人体模型只是一个单一的各向同性弹性体。这使得我们能够在合理的时间限制内运行大量的模拟，并且仍然能够获得有用的结果。

1.2 贡献

本文主要有5个贡献:

我们采用基于物理的软体模拟来推断人与物交互过程中不可见的物理量，例如力和压力。据我们所知，这是第一篇采用先进的，物理精确模拟场景理解的论文。我们的方法的一个主要优点是它在推断作用于整个人体的力和压力上的鲁棒性，因为我们的模型由超过2000个顶点组成，以一种真实的方式变形。
基于一个由RGB-D传感器获取的静态场景，我们提出了框架原因的相关物理，以便合成创造性的，物理稳定的坐在物体上的方式。
通过结合传统的机器人路径规划，我们提出的框架可以推广静态坐姿延伸到动态运动序列。
从人体演示中，我们的系统学会生成人体每个部位的力量直方图，这本质上定义了人体的效用，如舒适性，根据作用在人体每个部位的力量。
我们提出了一种方法，从使用Kinect传感器[50]获得的广泛使用的杆人模型中稳健地生成体积人体模型，并引入管道来重建具有明确的内部和外部区域的防水3D场景，这对于使用高级仿真成功地实现基于物理的场景理解至关重要。

1.3 概述

本文的其余部分组织如下:在第二节中，我们介绍我们的表示法，它将物理量纳入感兴趣的时空空间中。在第3节中，我们用有限元法(FEM)描述了计算相关物理量的管道。在第4节中，我们将问题表述为一个排序任务，并引入了一种在理性选择假设下的学习和推理算法。第5节表明，我们提出的框架可以很容易地推广到具有挑战性的新情况。第6节通过讨论局限性和未来工作对本文进行总结。

2 表示法

2.1 三维空间中的空间实体与关系

我们用一个解析图G来表示坐姿行为和相关关系，包括(i)从3D场景中提取的空间实体、物体和人体姿势，以及(ii)空间关系-物体-物体和人-物体关系。

空间实体:对于输入视频的每一帧，解析图G首先被分解为一个静态场景和一个人体姿态。静态场景进一步分解为一组三维物体，包括椅子(图2(b))。在本文中，我们只考虑与坐有关的人体姿势。我们使用Kinect传感器收集典型的坐姿，并将其排列和聚类为7个平均坐姿(图2(a))。对于每个平均姿态，我们首先将Kinect棍人模型(图3(a))转换为四面体人体模型(图3(b))。然后将其离散成14个预先定义的人体部位(图3(c))进行仿真，如图3(d)所示。

图2。(a)我们收集一组人体姿态，并将其聚类为7个平均姿态。(b)从扫描场景中提取的各种椅子。(c)每个人体姿态分解为14个身体部位。当人与椅子交互时，我们使用FEM模拟来推断每个身体部位的力。(d)说明人类偏好的例子;绿色表示舒适的坐姿，红色表示不舒服的坐姿。

图3。火柴人模型(a)使用了Kinect是人类模型转换成tetrahedralized (b),然后划分为14个身体部位(c),使用有限元模拟物理量 p (G)估计在每个有限元网格的顶点;每个顶点的力用(d)表示。

空间关系:从三维场景中提取的对象对形成对象-对象关系，每个对象和人的姿态对形成人-对象关系。图6(d)(e)给出了一个空间关系的例子。对于本文的目的,我们定义这两个空间关系的空间特性年代(G)编码的相对空间距离和方向。在更高的层次上，人与物的关系也编码了视觉注意力和社会目标。

2.2 人类效用的物理量

到目前为止，研究人员大多通过评估人和物体之间的几何相容性来生成启示地图[37,30,14,29,53,64]。我们雇佣了一个更有意义的、可量化的指标部队(包括压力)物理量 p (G)在人造物产生互动。作用在身体每个部位的力基本上决定了一个人与场景互动的舒适程度。人们倾向于选择更舒适的椅子，这样可以明显地在身体的各个部位提供更好的支撑力分布(图2(d))。

在重建的场景中部署物理模拟的体积人体模型，我们可以在人体模型的每个顶点估计细粒度的外力，如图3(d)所示。在本文中，我们使用有限元法来计算力。作用于身体各部分的力可以通过对顶点的力贡献的总和来估计。使用物理概念的一个主要优势是它们能够概括到新的情况。

2.3 及时的人类效用

为了建立人的效用模型，我们将计划成本分解到我们提出的框架中。这被定义为从给定的初始状态到目标状态的身体姿势序列，它通过时间编码人们的意图和任务计划。与之前的工作相比，增加计划成本将求解空间从静态人体姿态扩展到动态人体姿态序列。

为了简化问题，我们使用概率路线图(PRM)计划者[35]来计算计划成本。从上面看，我们投影3D场景来创建一个平面图，并使用2D PRM来计算平面图成本。然而，我们提出的框架并不排除在三维空间中使用更复杂的规划方法。

3 在3D场景中估算力

3.1 三维场景和人体模型的数据集

我们的数据集包括重建的防水3D场景，从场景中提取的3D对象(包括椅子)，跟踪的人体骨骼和体积人体姿态。骨骼和人体的体积姿态被登记在重建的场景中。

我们的数据集相对于以前的数据集(例如[9,21,66,53])最显著的特征是我们重建场景的水密支柱。这对于基于物理的模拟方法如FEM是至关重要的。此外，我们的数据集包括更大的椅子形状的物体和人体姿态的变化，如图2(a)(b)，以及更具挑战性和杂乱的场景。

3.2 重建水密场景

重构闭环场景:使用纯几何配准的重构方法[48,34,49,65]存在精细几何细节混叠和基于局部几何消除不同位置歧义的能力。当尝试注册低重叠的循环闭包片段时，这些问题会变得复杂起来。在我们的工作中，我们基于线过程[9]，通过全局优化重建三维场景，得到了带有闭环的详细的结构，如图4(a)所示。

图4. fromareconstructed3dindoorscene (a)[9,53]， weuni- formly在输入网格的泊松磁盘sam- pling (b)[4]中采样顶点，然后将它们转换为定义良好的内部和外部区域的水密网格[43,47]。输入网格与转换后的防水网格之间的差异(c)。通过添加一个地面几何图形，我们获得了一个详细的，不透水的3D场景的结构(d)，它被输入到模拟中。

转换到水密场景:碰撞检测和分辨率在模拟需要一个水密场景网格。我们首先使用泊松磁盘采样[4]从输入三角形网格生成均匀分布的顶点，如图4(b)所示。每个顶点然后被一个固定半径的球体水平集[47]替换。随后，将结构实体几何(CSG)并集操作应用于该水平集和底层集，以生成一个填充地板的完整场景。最后，将Marching Cubes al- gprs算法[43]应用于水平集，生成不透水面，如图4(d)所示。产生的场景有明确的内部和外部区域的仿真所要求的。

3.3 人体姿态体积建模

骨架对齐和聚类

骨架皮

体积离散化

3.4 模拟人与场景的交互

弹力

接触力

动态集成

模拟输出

图5。在3D场景中给定一个受重力(a)影响的初始人体姿态，如果没有足够的阻尼(b)，人体会过于活跃，产生不自然的弹性运动。在适当的阻尼作用下，模拟在少量的时间步长内收敛到物理稳定的休息位姿(c)。

4 学习和推断人类的效用

4.1 特征提取

数据预处理

空间特征

时间的特征

物理量

图6。数据预处理。给出一个重建的3D场景(a)，我们将其投射到一个平面图(b)，并分割场景中的3D物体(c)。(d)可视化3D对象位置(绿点)，人头位置(蓝点)和方向(蓝线)。(e)空间特征(G)被定义为人-物(红线)和物-物(绿线)的相对距离和方向。(f)时间特征:从给定初始位置到目标位置的计划成本。(g)(h) PRM计划者使用具有不同节点数的图生成了两种解决方案(更多节点产生更高成本的更细粒度的计划)。

4.2 学习人类的效用

理性选择假设

排名函数

4.3 推断最优可供性

4.4 解空间采样

在没有观察到人类与场景交互的情况下，推理算法必须通过想象不同的配置来对求解空间进行采样。在学习阶段也需要同样的sam- pling过程来生成否定的例子。

我们首先将人体姿态量化为7类，如图2(a)所示。通过不同姿态P a、平移T b和方向c对胡曼模型的想象构型进行初始化，如图7(b)(c)所示。元组(P a,T b,O c)指定了一个惟一的人工配置。给定这样一个元组，仿真将施加重力，仿真人体模型将达到静止状态。然后使用第4.1节中所述的方法来提取特征量。

在学习阶段，使用了排序函数(7)。在推理阶段，利用(11)对提取的特征进行评估。以得分最高的配置为最优配置G。

5 实验

5.1 从演示中学习人类效用

使用RGB-D传感器收集一组坐在场景中的人的演示，如图7(A)所示。观察到的演示被用作积极的训练例子。对于每个3D场景，我们通过枚举所有位姿并在求解空间中随机采样不同的初始人类平移和旋转，进一步对超过4000种不同的配置进行了分类，如图7(b)(c)所示。对与人工演示相似的合成构型进行了修剪。剩下的构型被用作否定的例子。学习算法(7)学排名函数的系数向量ω在三个不同的设置:(i) phy - ical量φp (G),(2)使用额外的空间关系φ(G),和(3)所有功能φp (G),φ(G)、t (G)和φ。

图7。在学习阶段，根据理性选择理论，假设所观察到的论证是最优的，并以此作为实证。(a)在这个例子中，一个人坐在扶手椅上，面对着一张有显示器的桌子。学习算法通过初始化不同的人体姿态P a， (b)平移T b和(c)朝向c，在求解空间中想象不同的构型。假设的随机生成构型{G i}被视为反面例子。在推理阶段，推理算法执行相同的采样过程(b)(c)，找到得分最高的最优配置G。

图8(a)显示了14个身体部位中6个的最终力直方图。不出所料坐时,部队行动的臀部在几乎所有情况下,上腿和较低的手臂也往往受到较大震级部队,每手臂和头部,不太可能与现场互动,和脚接触的场景在很多情况下,但overallsmallforcemagnitudes。图8(b)显示了在所有收集的人体坐着活动中作用于人体各部位的平均力的热图。

图8。(a) 14个身体部位中6个的最终力直方图。x轴表示力的大小，y轴表示力的频率和势能。直方图区域反映了非零力情况下的数字。(b)身体各部分的平均力归一化并重拍为T位姿。

5.2 在静态场景中推断最优启示

接下来，我们在三种不同的场景中测试了我们的数据集和之前的3D数据集[53,9]:(i)有椅子形状物体的规范场景，(ii)有严重物体重叠的clut- tered场景，以及(iii)与训练数据极为不同的新场景。

第一次测试是在火车运行的同一个场景中进行的。图9显示了排名最高的人体姿态的示例。虽然使用物理量，计算出的坐姿看起来似乎合理(图9(a))，但有些结果看起来不像坐姿(例如，躺姿和倒立姿)。这种结果的多样性是由于缺乏空间和时间的约束。

图9。(a)采用物理量计算的前7位人体姿势p (G)。算法寻求身体舒适的坐姿，导致坐姿随意;躺在桌子上。(b)增加空间特征量(G)限制人-物相对方向和距离后，改进了结果。进一步包括时间特征，t (G)生成最自然的姿势(c)。黄色的包围框表示门，路径规划器的初始位置。在观察到的演示中，在标有红色边框的3D椅子附近生成的样本，当力作用于人的手臂时，不会产生高分(图7(a))。椅子扶手的缺乏导致了低分。

将空间特征因子(G)、人体模型与场景中物体之间的相对方位和距离等因素考虑在内，改进了结果，如图9(b)所示。直观上看，最上面的姿势变得更自然，因为他们与观察到的示威人群有着相似的人类关注和社会目标。对于图9所示的情况。人体模型和带有监视器的桌子之间的相对方向修剪了人体姿势不朝向监视器的配置。平躺姿势和倒立姿势也被修剪。

整合时间特征的时间t (G)也考虑了计划成本，这就删除了与观察到的人员演示相比具有较大计划成本差异的姿态。注意，在时间特征中使用的计划成本使我们的系统输出一个动态移动序列，这扩展了静态坐姿在以前的工作。

另外的结果包括规范的，杂乱的，和新颖的场景从我们的数据集和其他数据集[53,66,9,71]显示在图10中。

图10。前3个姿势在(a)(b)规范的场景，(c)混乱的场景，(d)(e)新奇的场景。(a)和(b)中使用了所有的特征，(c)和(e)中使用了物理量，即(p)和计划成本(G)。路径规划器的初始位置用黄框表示。

评估:我们让4名受试者对得分最高的坐姿进行排名。图11绘制了它们的排名和我们系统输出之间的关系。

图11。人类受试者排名的相关性(x轴)和我们的系统输出(y轴)。绘制的点落在对角线上越近，我们提出的方法越符合人体受试者的表现。图(a) (e)对应图10(a) (e)，图(f)对应图9(c)。

6 讨论及未来工作

当前关于对象启示的研究[11,14,64,19,20,32,37,53,72]吸引了越来越多的人对基于几何的方法的兴趣，这些方法比流行的基于外观的马-秦学习方法提供了更强的泛化能力。我们已经更进一步，在视频中加入了无形的物理量，并学习了基于理性的人类行为和选择的人类效用。基于物理的模拟比几何兼容性更普遍，正如公共视频中通常看不到的各种懒散/随意的坐姿所表明的那样。我们认为，人类工具为对象可视性和人类行为提供了更深入、更细粒度的解释。结合空间文本特征、时间计划成本和在模拟人机交互过程中计算的物理量，我们证明了我们的框架是足够通用的，可以使用从典型案例中训练出来的模型来处理新案例。

我们目前的工作有几个局限性，我们将在未来的研究中指出:首先，我们假设了一个刚性的场景。我们将考虑物体的各种物质特性，并允许物体和人体模型之间的双向因果相互作用。这承诺使更深入的场景理解的帮助下，更复杂的高级任务规划者。其次，目前我们将解剖复杂的人体简单地建模为同质弹动力材料。我们相信一个更真实的生物力学人体模型，关节骨由肌肉和其他软组织组成(见，例如，[39,54])，可以使我们的框架产生更精细的解决方案。最优的电机控制器也可以在人体仿真中被em设计来支持细粒度的电机规划，从而超越了任务规划，尽管这将增加计算复杂度。

通过解决这些问题，我们将更接近于整合视觉、图形、认知和机器人技术方面的几种不同研究流和联合方法。

读后感与机翻《从视频中推断力量和学习人类效用》相关推荐

读后感与机翻《整体的三维场景解析和重建从单一的RGB图像》
以下是研究朱松纯FPICU概念中F(functionality)的第一篇论文记录: 读后感: 文章做了什么事? 提出一种3D室内场景解析和重建的算法,可以从单个RGB图像同时重建出室内场景的功能层次和 ...
读后感与机翻《人类因果学习的分解:自下而上的联想学习和自上而下的图式推理》
研究朱松纯FPICU体系的第 2 篇文章 <Decomposing Human Causal Learning: Bottom-up Associative Learning and Top-d ...
从母语学习规律中推断出英语学习的规律
从母语学习规律中推断出英语学习的规律 2011年08月17日 [b]从母语学习规律中推断出英语学习的规律[/b] [b] [/b]在此文的开始我提到:同步的精髓是指按照母语的学习规律和要求学习包括英语 ...
读后感和机翻《他们在看哪里，为什么看?在复杂的任务中共同推断人类的注意力和意图》
以下是研究朱松纯FPICU概念中I(intent)的相关论文记录: 读后感: 作者干了什么事? 算法可以从视频中预估人类的注意力位置和意图. 怎么实现的? 提出了一个人-注意力-对象(HAO)图来联合 ...
读后感与机翻《基于理论的因果迁移:结合实例级的归纳和抽象级的结构学习》
研究朱松纯FPICU体系的第 3 篇文章 <Theory-based Causal Transfer: Integrating Instance-level Induction and Abst ...
读后感与机翻《理解工具:面向任务的对象建模、学习和识别》
以下是研究朱松纯FPICU概念中P(physics)的第一篇论文记录: 目录读后感: 作者干了什么事? 作者怎么做的? 效果怎么样? 局限性摘要 1 介绍 2 面向任务的对象表示 2.1 三维空间 ...
读后感和机翻《人类因果迁移:深度强化学习的挑战》
研究朱松纯FPICU体系的第1篇文章 <Human Causal Transfer: Challenges for Deep Reinforcement Learning>CogSci 2 ...
读后感与机翻《AOGNets》
本文是在研究朱松纯团队中大量使用的"与或图"概念而找到的一篇学习论文,下述论文并非朱松纯团队的,而是北卡州立大学一个博士生发明的,其实验室专门研究可解释性深度学习. 读后感作者干 ...
Android黑屏死机--充电运行土豆视频【.4.4】》播放视频中黑屏死机》手动按电源键开机显示电量为6%
[测试版本] T0405 [测试模块] [测试步骤] 充电运行土豆视频[.4.4]> [测试结果]播放视频中黑屏死机>手动按电源键开机显示电量为6%[开机后恢复] [预期结果]可正常播放 ...

读后感与机翻《从视频中推断力量和学习人类效用》