墙后的所有姿势,全被“瞎眼”AI透视
李林 若朴 发自 凹非寺
量子位 出品 | 公众号 QbitAI
古人云,隔墙有耳。
但想要做到“隔墙有眼”,就像二娃那样,能穿墙透视,似乎是种遥不可及的本领。
现在,MIT CSAIL的一群科学家,就用AI构建了一双透视眼。你在墙后的一举一动,它就都能看见。这项研究,作为spotlight论文发表在CVPR 2018上。
呐,效果就是这样。
识别的方式,就是把人体简略成一套基本的骨架结构。不同部位,用不同的颜色标示,左右手、左右腿都不一样。
即便你走到墙后,人眼看不到,但AI一样能准确判断你的位置与姿势。基本算是开了一个透视外挂。
墙都挡不住这套系统,窗帘就更不在话下了。
黑灯瞎火的地方,也完全不是问题。
上面这个演示,我们还可以看到,这个AI认出了两个人。没错,这个AI还能同时识别多人的姿态。
而且即便是多人同时交叉行进的复杂场景,这个AI也能顺利搞定。
看到这,你可能会说:除了穿墙之外,其他的演示,并不算炸裂啊,这种人体姿态的识别,已经早有人做了,不是么?
没错。
但这个AI,其实是个眼瞎的“盲AI”!
穿墙透视也好,多人识别也好,依靠的全都不是视觉信号,实际上,根本没给AI视觉信号。
那,这个AI靠什么识别人体?
无线电波。
它用的无线电波有点类似大家常见的WiFi信号,但是功率更弱一些。利用无线信号在人身上的反射,来“看清”人体。
因此,这个AI的名字就叫RF-Pose,从射频到姿势的意思。
来,感受下这两张图。看看你能不能脑补出人体姿势。
透视眼修炼之道
我们前面提到过,RF-Pose识别人类动作时,根据的并不是视频,而是无线电波的反射。
而想要训练这样一个AI,面临着一个严重困难:
根本没有标注好的数据集可用。
更要命的是,就算你纠集一批人类,想群策群力标注一个这样的数据集,也完全不可行——无线电信号那个微弱粗糙的分辨率,我们人类根本认不出。
这个困难,在训练过程中无法回避。于是,他们用上了“跨模态监督”方法,在无线电波接收器旁边加了个摄像头,同步记录无线电波和视频,然后从视频流中提取人体姿势信息,用作无线电波的监督信号。
他们在MIT校园里收集了50小时的数据集,男女老少都不放过,场景包括办公室、食堂、教师、报告厅、楼梯、走廊等等50余处。
在这个数据集里,最热闹的数据帧包含14个人,最少的当然是完全没有人。
也就是说,数据集包含两大部分:图像上能看到人的、和人被遮挡了的。MIT团队从图像上能看到人的部分选取70用于训练,30%留作测试用,而人被遮挡的数据全都用来测试。
70%能看见人的数据,拿来训练了一个跨模态“师生网络”。
在这个网络中,老师以图像为输入,预测出人体关键点的置信图,学生以射频信号为输入,以和老师最接近为目标,学着预测人体关键点置信图。
从置信图再生成出我们最终看到的骨架模型,RF-Pose的透视技能就算修炼完成了。
无线新方向
这篇论文的作者,包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。
其中一作Mingmin Zhao(赵明民),本科毕业于北京大学,目前在MIT读博。去年夏天,赵明民发表过另一篇AI+无线信号的论文,主要用这个技术来监测人类的睡眠情况。论文发表在ICML 2017上。
论文传送门:http://sleep.csail.mit.edu/
此前,他还研究过使用无线信号识别表情。
传送门:http://eqradio.csail.mit.edu/
你看,这其实是一整套技术。不用安装摄像头,只需要通过类似WiFi的无线信号,现在就能知道你在哪,有什么动作,是什么姿势,情绪怎么样,心跳快不快以及睡眠质量怎么样……等等。
当然这套技术并不是要窥探你的隐私。
而是有更广泛的应用场景。例如,帮忙监测家里的老人或者医院的病人。这套系统有几个好处。
首先,不用摄像头,省却了很多隐私的担忧。
其次,这个技术能比较准确的识别出不同的人,并且追踪行动、姿态、情绪等相关数据。
再次,监测可以穿墙而过,不受干扰。
以及,被监测对象可以不必佩戴随身任何其他设备,轻松高效。
总之这是个很有意思的方向。当然这一方向的研究,还有大量的工作需要完成。比方,这个团队会继续寻求捕捉更细微的动作,例如老人的手部颤抖等。当然透视监测的准确率,也需要进一步提升。
而赵明民之所以一直研究这个方向,其实源于他的导师:Dina Katabi。
Katabi教授一直在研究无线技术,她是CSAIL实验室NETMIT研究组负责人,也是MIT无线网络和移动计算中心的主任。
上面提到的所有研究,其实都没有细讲无线信号的问题。
实际上,Katabi团队在2015年发表的一篇论文里,对这件事有更为详细的描述,论文题目:Capturing the Human Figure Through a Wall。
在这篇论文里,披露了当时那套无线设备的一些细节。
呐,就是这样。
研究传送门
项目主页:
http://rfpose.csail.mit.edu/
论文:
Through-Wall Human Pose Estimation Using Radio Signals
Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi
Computer Vision and Pattern Recognition (CVPR), 2018
http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf
说明一下,目前这个AI的监测效果,在没有遮挡的情况下,准确率62.4%,需要穿墙透视的时候,它的准确率是58.1%。
先别太苛刻,这个AI还是个宝宝嘛。就算是看着视频来识别姿势,现在AI的准确率也并没有非常高。2017年旷视在MS COCO人体关键点检测夺冠的成绩,也才73%而已。
推断出人体姿势之后,AI还能进行一些其他工作:比如根据这个骨架结构来认人。给AI两秒钟的骨架活动片段,它认人的准确率就能达到83%。
— 完 —
活动报名
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
墙后的所有姿势,全被“瞎眼”AI透视相关推荐
- 墙后的全部姿势,全被“瞎眼”AI透视
版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/80681769 李林 若朴 发自 ...
- 飞腾64核服务器cpu芯片,【今日头条】飞腾64核CPU适配百度昆仑AI处理器:全国产的AI体系登场...
原标题:[今日头条]飞腾64核CPU适配百度昆仑AI处理器:全国产的AI体系登场 继百度飞桨深度学习平台之后,百度的昆仑AI芯片日前也针对国产的飞腾CPU完成了适配.再加上已经适配的国产OS,在AI计 ...
- 关于全行业通用AI产品的畅想
#关于全行业通用AI产品的畅想# 有没有能不能做一个AI产品,输入标注好的结构化数据,不用根据用户需求改变内部算法,就能对新数据的结果进行预测呢? 这个产品的好处是,做好之后可以重复在各行业.各公司进 ...
- 乐学偶得《零基础Python入门编程全栈量化AI》课程238课的详细完整代码怎么样实现?靠谱答案来啦啦啦╭(╯^╰)╮
学习打卡内容搬运于乐学偶得公众号:乐学Fintech ,仅用于我学习打卡之用.也在此和学习Python的小伙伴分享~ 我学习的是乐学偶得<零基础Python入门编程全栈量化AI>课程,属于 ...
- 华为全栈人工智能-AI发展新趋势
近日谷歌在其最近发布的论文中提出了新一代的NLP预训练模型T5,其整个模型的参数数量达到了惊人的 110 亿,再次刷新 Glue 榜单.从目前的情况来看,从OPEN AI的GPT-2到谷歌的XLNET ...
- ai透视按键_透视人工智能
ai透视按键 by Rishal Hurbans 由Rishal Hurbans 透视人工智能 (Artificial Intelligence in Perspective) The buzz wo ...
- 全网最全100个AI工具导航网站合集
随着ChatGPT年前的爆火,人工智能也变成当今最热门的领域之一,它正在改变着我们的生活和工作方式.无论你是想要学习人工智能的基础知识,还是想要利用人工智能来提升你的业务效率和创新能力,都需要找到合适 ...
- 超72小时整理,全网最全「人工智能·AI 工具导航网站」
随着人工智能领域的快速扩展,各类的AI工具不断涌现,它们在自然语言处理.图像识别.智能推荐等多个领域都展现出了不可或缺的重要性.然而,面对这么多的工具,你是否也曾感到困惑,不知从何处寻找那些优质且实用 ...
- 2017年中国人工智能产业最全研究报告发布 | AI世界2018年八大趋势
来源: 数据观 概要:从目前来看,计算机视觉技术是人工智能的核心技术之一,广泛的商业化渠道和技术基础使其最为热门. 目前,中国的人工智能研究处于爆发期,行业巨头公司正逐渐完善自身在人工智能的产业链布局 ...
最新文章
- linux kill命令
- 统治世界的 10 大算法,你知道几个?
- HDU-3746-Cyclic Nacklace
- 结构体指针和数组理解
- 屌丝逆袭高富帅之JAVA之路
- 那些喜欢少妇的男生......
- AWS Lambda将数据保存在DynamoDB中
- 31muduo_net库源码分析(七)
- 2018-2019-1 20165202 20165210 20165214 实验二 固件程序设计
- 计算机学数字电子基础知识,什么是数字电路?数字电路基础知识
- 金山毒霸 2011 SP2 论坛内测开始
- android 全屏FullScreen的配置
- 小学计算机教师面试试题及答案,2019下半年小学信息技术教师资格证面试真题及答案汇总...
- 进程之间究竟有哪些通信方式
- php通过函数怎么禁止百度蜘蛛抓取,怎么屏蔽百度蜘蛛(Baiduspider)抓取网站
- Ardunio——ULN2003驱动板和直流电机风扇——控制风扇转速
- mt6592android7,实用八核处理器 MTK MT6592M完全解析
- 简单概括HAPI(Houdini Engine API)所涵盖的功能
- 实战ATTCK攻击链路--靶场Writeup(三)
- about a day and a story
热门文章
- Airbnb 弃用之后,我们还应该用 React Native 吗?
- Github 平均 Star 为 3558 的机器学习开源项目,你错过了哪些?
- 杠上谷歌,微软利用人工智能加码必应搜索的市场竞争力
- 【JVM原理探索,Java组件化架构实践
- Java定时器每小时执行一次
- java 垃圾回收 参数_JVM实用参数(五)新生代垃圾回收
- gson和json-lib的区别
- python猜数字统计游戏次数_猜数字游戏(Python)
- .unl 文件 导入 mysql,informix导出的unl格式数据怎么导入sql server 2008里呢
- linux 输出数据到csv,Linux-从外壳输出CSV文件