通过WIFI信号跟踪三维人体姿态的新方法

图 1 系统概述

无线传感设备是允许用户感知运动和远程监控特定环境中的活动或变化的工具，有许多应用。例如，它们可用于监控目的，以及跟踪医疗病人和运动员的睡眠或身体活动。一些电子游戏开发商也已经使用无线传感系统来创造更多与体育或舞蹈有关的游戏。

佛罗里达州立大学、三一大学和罗格斯大学的研究人员最近开发了Winect，这是一个新的无线传感系统，可以在人类进行广泛的自由形式的身体活动时以三维方式跟踪他们的姿势。该系统在一篇预先发表在arXiv上的论文中进行了介绍，并将在2021年ACM互动、移动、可穿戴设备和泛在技术会议（Ubi Comp）上发表，这是全球最知名的计算机科学活动之一。

“我们的研究小组一直在进行无线传感方面的前沿研究，”进行这项研究的研究人员之一杨杰说。“在过去，我们提出了几个系统，利用Wi-Fi信号来感知各种人类活动和物体，从大规模的人类活动，到小规模的手指运动，睡眠监测和日常物体。例如，我们提出了两个被称为E-eyes和WiFinger的系统，这是第一批利用Wi-Fi感知来区分各种日常活动和手指手势的工作。”

虽然研究人员在过去的研究中开发的无线传感系统取得了可喜的成果，但它们大多依赖于在一组固定的已知活动上预先训练的模型，因此它们只能对有限的人类姿势或运动进行分类。在他们的新研究中，杨和他的同事们探讨了他们是否也能使用Wi-Fi信号来感知自由形式的人类活动（即涉及快速和更精细的运动）。对自由形式运动的准确跟踪和估计可以提高几个现实世界的计算应用，包括虚拟现实（VR）的实现、技术增强的健身和电子游戏的开发。

图 2 系统工作流程

研究人员创建的Winect系统可以通过发射Wi-Fi信号和分析这些信号如何从人体上反射来检查家庭环境中的运动。这使它能够跟踪自由叉的运动和人体的三维姿势。

图 3 在方位角-高度图谱中的静态环境影响示例

Winect的一个关键优势是，它使用已经在环境中的Wi-Fi发射设备，如笔记本电脑、台式电脑、智能电视或智能扬声器，来发送它所需要的信号，以检查人类活动。随后，它采用深度学习技术来创建用户的三维全身运动的数字版本，将身体分为由关节分隔的不同部分（例如，头部、脊柱、肩部、肘部、手腕、臀部、膝盖和踝部）。

“我们的系统首先发射Wi-Fi信号以探测家庭环境，然后分析从人体上反射的信号以进行自由活动追踪，”杨杰解释说。“更具体地说，它提取并分析接收到的Wi-Fi信号的相位，以检测人类活动的存在和移动肢体的数量。接下来，我们的系统使用信号处理技术来分离从每个移动肢体上反射的Wi-Fi信号，并跟踪每个肢体的轨迹。”

Winect利用深度学习技术创建了一个人类用户的三维身体姿势的数字版本。从本质上讲，它通过对四肢运动和相应关节之间的关系进行建模，创建了用户身体的三维骨架。

研究人员的系统与其他现有的无线传感系统相比有许多优势。例如，与Kinect或Leap Motion等基于计算机视觉的设备相反，它还可以透过墙壁进行感应，并且不受遮挡物的影响，因为它不依赖于摄像头，而是依赖于可以穿过物理障碍物的Wi-Fi信号。

与侵入性的可穿戴系统，如Xsens，需要用户在人体上佩戴或安装运动传感器或可见标记相比，Winect不需要人体上的传感器，因此对用户是透明的。此外，由于Winect可以重复使用家中的商品Wi-Fi设备（例如，笔记本电脑、台式机、智能电视、智能音箱），它不会产生额外的成本，因此有希望在智能家居中被最终用户大规模采用。

杨杰和他的同事评估了他们的无线传感系统，发现它取得了显著的效果。在他们的测试中，Winect可以在各种具有挑战性的环境和场景中以厘米级的精度跟踪自由形式的人类活动。总的来说，他们的发现表明，从人体反射出来的Wi-Fi信号带有丰富的信息，可以用来提取精细的人类运动和姿势。

人机交互应用，这种细粒度的运动可以被挖掘出来，以了解人类的活动和行为，用于智能保健应用。例如，在居家养老的环境中，了解老年人的活动和行为变化以检测跌倒和其他需要的情况是非常有用的。通过跟踪一个人的日常活动并生成统计数据，还可以监测其健康状况并提出改善健康的干预措施。

在未来，这个3D人体姿势估计系统可用于创建更有吸引力和性能更好的应用，这些应用涉及对自由形式的人体运动的跟踪。例如，它预测的3D姿势可以提高智能健身助手和VR平台的性能。

到目前为止，研究人员主要侧重于检测人类活动，而不分析其发生的背景或环境。然而，在他们接下来的研究中，他们计划创建能够跟踪人类活动的系统，并按照一种被称为上下文感应的方法，利用上下文信息预测意图。

例如，如果一个用户躺在床上不动，他/她可能在睡觉或只是在听音乐，所以现有的系统可能很难在没有上下文的情况下完全理解他们所感应的东西。因此，通过考虑其内容的语义背景和它们之间的内在关系，将人类活动与它们所发生的场景一起分析是很重要的。"

通过WIFI信号跟踪三维人体姿态的新方法相关推荐

基于深度学习的三维人体姿态估计
目录一.技术背景 1.1 人体姿态估计 1.2 三维人体重建 1.4 构建多人场景研究情况二. 技术方法 2.1 基础架构 2.2 重叠loss 2.3 深度顺序感知loss 四．存在的 ...
今日 Paper | 手部和物体重建；三维人体姿态估计；图像到图像变换等
2020-02-04 11:08 导语:为了更好地服务广大 AI 青年,AI 研习社正式推出全新「论文」版块. 目录 SMPL-H: 学习手部和操纵物体的关节重建 SMPLify: 从一个单一的图 ...
ICCV 2019 | 基于无标签单目视频序列的单帧三维人体姿态估计算法
作者丨王璇学校丨西安交通大学研究方向丨人体姿态估计我们都知道,要训练一个准确的三维人体姿态估计深度神经网络,需要大量有三维标签的数据,越多越好.而在现实生活中,我们很难得到很多有标签数据,而无标 ...
ICCV 2019丨基于跨视角信息融合的三维人体姿态估计
点击我爱计算机视觉标星,更快获取CVML新技术 52CV曾经在该论文刊出的第一时间对其报道:ICCV 2019 | 微软开源跨视图融合的3D人体姿态估计算法,大幅改进SOTA精度,该文为原作者解读. ...
基于正交投影的实时三维人体姿态估计
王亦洲课题组 ECCV 2022 入选论文解读:基于正交投影的实时三维人体姿态估计本文是对发表于计算机视觉领域顶级会议 ECCV 2022的论文 Faster VoxelPose: Real-tim ...
【Matlab行为识别】差影法三维人体姿态行为识别【含源码 277期】
一.代码运行视频(哔哩哔哩) [Matlab行为识别]差影法三维人体姿态行为识别[含源码 277期] 二.matlab版本及参考文献 1 matlab版本 2014a 2 参考文献 [1] 蔡利梅.M ...
Lifting Transformer: 基于跨步卷积Transformer的高效三维人体姿态估计
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达论文:Lifting Transformer for 3D Human Pose Estimation ...
跳过人脸检测和关键点定位，Facebook等提出实时3D人脸姿态估计新方法
本文转载自机器之心. 来自 Facebook AI 和美国圣母大学的研究者提出了一种 6 自由度的实时 3D 人脸姿态估计技术,可以不依赖人脸检测和人脸关键点定位独立运行. 人脸检测是给照片中的每个人 ...
LatentFusion：华盛顿大学与英伟达联合提出6D姿态估计新方法
作者 | Keunhong Park.Arsalan Mousavian.Yu Xiang.Dieter Fox 译者 | 刘畅编辑 | Jane 出品 | AI科技大本营(ID:rgznai100 ...

通过WIFI信号跟踪三维人体姿态的新方法

通过WIFI信号跟踪三维人体姿态的新方法相关推荐

最新文章

热门文章