用wifi实现细粒度的人体感知——Person-in-WiFi: Fine-grained Person Perception using WiFi
使用一维的wifi信号实现人体分割和姿势估计的细粒度的人体感知。挑战主要有两个方面：
- wifi天线只能接受EM波的一维幅度，从一维信息中重建3维的空间细粒度信息是一个不适定（ill-posed）问题
- 环境对传感信号的影响
设备：一组发射天线，一组接收天线。每组天线三个天线排列，类似于标准的WiFi路由器。
理论
对于从一维的WIFI信号重建三维的空间信息的不适定问题，有两种解决方案：
- 使用多个一维WiFi信号。论文中使用3X3的天线模式，产生30个EM波，每个天线对可以捕获到来自不同路径的信号的叠加，提取信号的信道状态信息CSI，可以产生30*3*3个CSI数据。
- 约束映射复杂性。从视频生成多个2D空间表示，利用深度学习将CSI映射到这些空间表示（不是直接将CSI映射成3D空间）。所有的这些表示共享相同的空间布局，同时突出不同的身体结构，如身体分割掩码、关节和四肢。
设备中一共有9对收发天线，每个天线对提供30个一维EM波信号的叠加（中心频率为2.4GHz，带宽为20MHz。被提取为信道状态信息CSI H=W（P,E,T,R,F））以及多个2D空间注释（RGB图片，人体分割掩码和关节坐标点），将视频与CSI样本保持同步，以20FPS频率取样视频，以100Hz频率取样CSI样本，保证一个视频帧对应于5个CSI数据。然后使用RGB图像生成多个空间表示作为标签数据（Annotation）用于开发深度学习网络【8】，标签数据：
- 利用Mask R-CNN【18】来制作人体分割的掩码（SM），尺寸1*46*82；
- 使用OpenPose【8】的最新的Body-25模型输出人体关节热图（JHM）26*46*82（26=25个关节+1个背景）和Part Affinity Fields（PAF）52*46*82（52=26个肢体的x、y坐标）。
网络结构
- 网络输入：对应于一个视频帧的5个CSI幅度样本150*3*3（根据CSI-Net，应该用的是CSI幅度）
- 上采样：150*96*96
- 残差卷积模块
- U-Nets【41】：SM和JHMS高度互补，使用一个U-Net和两个独立的U-Nets生成SM、JSMs效果相似（上图中表示论文使用了一个U-Net生成SM和JHNs）。
- 下采样：高度维上stride=2，宽度维上stride=1。RF尺寸为140*140
- 网络输出：SM、JHM、PAF c*46*82
网络重构CSI数据的空间信息并映射到输出中：CSI数据的尺寸的三个维度分别表示时间信息（5）× EM频率（30）和天线之间的发送对（3*3）。因为发射天线和接收天线之间的相对距离和角度不同，所以3×3个发送对之间传送了9个对同一场景下的1维CSI，这9个数据之间的差异就反映了场景中的空间布局。因此网络对3维的输入向量沿着3X3进行2D卷积，利用9个天线对之间传播的信号重建2D空间信息
损失函数：
[8] Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh. Realtime multiperson 2d pose estimation using part affinity fields. In CVPR,2017. 2, 4, 5, 6
[41] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer, 2015.
用wifi实现细粒度的人体感知——Person-in-WiFi: Fine-grained Person Perception using WiFi相关推荐
- 科研笔记(八) 深度学习及其在 WiFi 人体感知中的应用(下)
论文题目:Deep Learning and Its Applications to WiFi Human Sensing: A Benchmark and A Tutorial 论文作者:Jianf ...
- Wi-Fi感知应用逐步进入实际生活---乐鑫公司推出的ESP-WIFI-CSI智能人体感知方案
ESP-WIFI-MESH 是一种无线通信网络,采用树状拓扑结构,其节点具有乐鑫 SoC 的 AP-STA 特性.ESP-WIFI-MESH 能够提供一个易于部署.自动组网并自我修复的网络.它无需部署 ...
- WiFi也能检测人体3D动作？误差低至2.4厘米
佛罗里达州立大学和罗格斯大学的科研人员开发了一种基于Wi-Fi传感的3D网格技术:Wi-Mesh,该方案宣称可识别并创建可靠的3D人体网格,可辅助计算机视觉.AR/VR定位等应用. 简单来讲,Wi-M ...
- 无线 WiFi 网络状态监测与感知分析
文章目录 实验目的: 实验原理: 实验内容: 实验步骤: 步骤一:查看网卡信息情况 步骤二:将无线网卡设置为嗅探模式,并查看网卡信息情况 步骤三:检测并显示周围WiFi网络状态 步骤四:关闭网卡监听模 ...
- 乐鑫wifi模块二次开发_米家部分智能硬件拆解，ZigBee/WIFI模块分析及二次开发
点击"蓝字"关注我们 最近小编都在培训,几天没有更新,大家有没有想死小编学习啊~这周天气骤冷,秋裤可以穿起来啦~ 正文开始 ▲左到右依次是:门磁传感器,温湿度传感器,无线开关,人体 ...
- bat批处理开发-wifi联网系列（4）：连接wifi，获取本机ip、网关及dns,并通过ping对wifi网络的连通性可用性进行检测
公司wifi很不稳定,编写了个wifi断网后自动重连的批处理,主要包括:可用wifi查询.联网.wifi切换感知.自动检测及掉线重连,网络状态分析等功能. 本次分享第四部分:连接wifi,并对wifi ...
- wifi分析仪怎么看哪个信道好_（一百零四）探讨WiFi分析仪如何获取信道的？
(一百零四)探讨WiFi分析仪如何获取信道的? 发布时间:2018-11-10 11:41, 浏览次数:300 , 标签: WiFi 前言:下载了WiFi分析仪,发现WiFi分析仪会显示当前扫描AP的 ...
- 在使用mac电脑时可能会出现无法联网的问题，小编就曾经遇到mac电脑一直无法连接WiFi，却又找不出问题的情况。一般来说mac电脑无法加入WiFi网络的原因多种多样，最常用的办法就是进入网络设置查找问
在使用mac电脑时可能会出现无法联网的问题,小编就曾经遇到mac电脑一直无法连接WiFi,却又找不出问题的情况.一般来说mac电脑无法加入WiFi网络的原因多种多样,最常用的办法就是进入网络设置查找问 ...
- 苹果wifi网速慢怎么办_如何快速解决iphone xr手机无法连接WiFi故障
每个苹果用户只要使用手机多多少少都会遇到手机无法连接wifi的问题.有时候是路由器没设置好也会影响无线网正常发挥.那么 iPhone XR手机wifi总是掉线.没有网络怎么办? 首先,iPhone手机 ...
最新文章
- Ret2Libc(2) （有system、无‘/bin/sh’）绕过NX、ASLR
- ProGen：蛋白质生成语言模型
- python with 打开多个文件
- Windows与Linux系统分隔符不一致，java轻松实现区分
- 六、Web服务器——FilterListener 学习笔记
- 最优化学习笔记（六）——牛顿法性质分析
- @getMapping与@postMapping
- java使用libreoffice_关于java使用libreoffice以及openoffice转换问题。
- Linux使用CLASS_ATTR创建节点
- 传输线模型（分布参数模型）
- php客户订单管理系统,PHP订单管理系统完整版源码PHP订单管理系统完整版源码
- 【21天python打卡】第15天 python经典案例（1）
- 习题合集-数据结构导论
- android模拟qq登陆,模拟qq登录
- 【转载】SAP Smartform A5 针式打印机 打印格式横向问题
- 惠普触控板使用指南_hp触摸板开关怎么使用 如何锁定hp触摸板
- ECharts 饼图的合并显示
- [原创]如何顺利通过中国电信Brew平台软件测试?
- 双系统安装的linux找不到了,双系统，安装linux时找不到硬盘！？
- 成功解决xgboost\core.py:614: UserWarning: Use subset (sliced data) of np.ndarray is not recommended beca