WiFi也能检测人体3D动作？误差低至2.4厘米

佛罗里达州立大学和罗格斯大学的科研人员开发了一种基于Wi-Fi传感的3D网格技术：Wi-Mesh，该方案宣称可识别并创建可靠的3D人体网格，可辅助计算机视觉、AR/VR定位等应用。

简单来讲，Wi-Mesh通过分析多个Wi-Fi天线接收的反射信号，来获取房间中人的3D信息，并生成立体网格。而Wi-Fi信号源是一种低成本室内定位方法，缺点是精度不高，难以通过算法来提升性能。Wi-Fi信号还可以补充GPS定位，解决GPS在室内没有信号的问题。

据了解，该科研小组专注于尖端的Wi-Fi传感研究，此前的研究（E-eyes、WiFinger系统）已经可以通过Wi-Fi感知一系列人类活动和物体，比如人体大幅度动作，或是小幅度手势变化，此外还能检测睡眠活动、识别日常物体。

在Wi-Mesh研究中，科研人员的重点是，测试常见的Wi-Fi通信方案，以评估其3D网格生成能力（比如能否准确捕捉不同人的身高、体重、体型、身体比例、身体变形等等）。此外，训练一种Wi-Fi传感模型，将日常活动、手势进行分类，并与预设动作匹配。

实际上早期的研究表明，商用Wi-Fi能够对分类一些预定义的人体动作，并检测细微的活动，比如生命体征（用Wi-Fi检测睡眠、跌倒等）。不过，这些系统无法生成复杂、精细的3D网格，因为3D人体网格通常具有数千个顶点，远多于比3D姿态捕捉时识别的节点数量。此外，还需要高质量的训练数据、更深入的神经网络，并且对使用环境等多种因素很敏感，难以在不同的场景中通用。

Wi-Mesh诞生

然而在最新的研究中，科研人员验证了Wi-Fi信号在构建3D人体网格上的能力，而这在之前是难以实现的。和上面描述的方案相比，Wi-Mesh最大的区别是利用了多天线Wi-Fi设备，从Wi-Fi信号到达人体反射回的数据，来分析、推导出人体形状，更准确的定位3D目标。商用Wi-Fi技术的进步让Wi-Mesh成为可能，通常新一代Wi-Fi 6/7接收器配备了8到16根天线，可以很好的捕捉到达人体3D表面后反射回的信号，并通过信号入射角、AoA信息将人体形状和动作可视化。

科研人员指出，Wi-Mesh通过反射回的Wi-Fi信号计算二维到达角（2D AoA），并推算出物理环境的3D结构、人体、静态物体的3D可视化模型，然后从中提取人体2D AoA图像（类似于相机捕捉的灰阶图像），再利用深度模型，将2D图像转化成3D网格，用来实现各种人机交互。简单来讲，这种方式可以让Wi-Fi很好的感知周围环境，就像是为其赋予“视觉”。

这里的AoA定位，指的是通过硬件设备感知其他设备发送的信号的到达角度，通过计算接收节点、发送节点的相对方向，来推算位置。通常来讲，该定位方式主要依赖多天线阵列。蓝牙5.1标准就引入了AoA特性，可实现厘米级精度的定位。

优势和局限

经过验证，商用Wi-Fi具有3D传感和建模的能力，因此未来Wi-Fi不仅可以通信，还可以将周围的人、物体可视化，带来全新的传感方式。

经过一系列室内实验，科研人员发现，Wi-Mesh的平均顶点位置误差为2.81厘米，关节位置的识别误差为2.4厘米，效果与专用的3D传感硬件相当（比如常见的两种RF定位系统，FMCW雷达、毫米波雷达方案）。值得注意的是，Wi-Mesh无需额外的硬件，使用已有的Wi-Fi设备即可，因此成本上具有优势。另外，Wi-Mesh在各种不同场景的适应性足够好，对于未接触过的人也可以识别和3D建模，运行结果稳定且有效。

与基于相机和视觉算法的3D捕捉方案相比，Wi-Mesh的优势是：基于RF射频，可穿透墙壁和障碍物，即使有视觉遮挡，或是在光线不足的环境中，也能定位。此外，即使是深色、宽松的衣服，Wi-Mesh也可以识别。

而与传统的动捕方案相比，Wi-Mesh无需额外的穿戴式传感器，或是标记，因此用起来更自然、更容易。它也可以用于现有的Wi-Fi通信系统，成本足够低，适合广泛应用。

不过它仍有一些局限性，比如只能为空间中的一个人3D建模，不适合火车站、购物中心等拥挤的空间。传感距离大约几米，并没能充分利用Wi-Fi的全部通信范围，这是因为Wi-Mesh依赖于信号反射，效率比视觉方案要低。所以，可能需要更强大的定向天线，或是覆盖多个Wi-Fi设备来解决。此外，计算成本也需要进一步降低。

未来应用

Wi-Mesh具有在房间中捕捉3D人体数据，并生成网格的能力，而这种能力可用于多种潜在场景，比如：AR/VR内容开发、虚拟试穿、运动检测、动画/动捕、服装人体重建和渲染等等。实际上，如果将它用在线下大空间场景，也许可以实现大规模的多人AR游戏体验。

科研人员表示：我们正在研究一种家用的智能监控/安全系统，该系统利用Wi-Fi信号进行3D定位，可用于人体重识别（Re-ID）等场景，比如通过检测身高、体重、身体比例、步态等信息，进行身份识别。与摄像头监控相比，Wi-Fi定位监控更通用，即使目标改变外观和姿态，也可以识别身份，此外也可以弥补视觉方案受遮挡的限制。参考：acm