三维点云可以导航吗_基于视觉高精定位的“室内AR导航”技术点解析
自1967年卫星导航技术开放民用以来,经过50多年发展,导航定位已广泛应用于交通物流、地理信息、高精度测量等多种行业中,提升了现代社会的运营效率,也为个人生活和出行都带来巨大便利。
不过,尽管导航定位技术在室外场景中已非常普及,室内导航应用却一直未取得很好发展。
一方面由于卫星信号的衰减,卫星导航定位在室内几乎毫无用武之地。
另一方面,尽管基于蓝牙信标定位、Wi-Fi信号等专用设备的解决方案在一定程度上可以辅助室内导航定位,但却部署和维护成本高昂,不具备大规模推广的条件。
那么,有没有一种易实现、低成本、易扩展的室内导航解决思路?
以更低成本、更易普及的AI视觉技术为核心,商汤科技SenseMARS火星混合现实平台,能以高效低成本的方式实现室内外精准定位和AR导航。
基于视觉高精定位的AR导航
室内导航的难点在哪里?
展览馆、博物馆、商场、交通枢纽等大型室内场景环境复杂,规模巨大,并存在很多无纹理空间区域和视觉歧义区域,地图数据的采集、制作及表达是一大难点。
同时,伴随光照、视点变化,用户如何精准快速地实现重定位也是一项挑战。
商汤SenseMARS火星混合现实平台由浙江大学-商汤科技三维视觉联合实验室与商汤产品团队联合打造,具备专业级高精度三维数字化地图构建、跨平台和终端的空间感知计算、全场域厘米级的端云协同定位等空间定位和构建能力,并可支持Android/iOS/Web/小程序等系统平台,以及手机、平板电脑、AR/MR眼镜等多种终端设备,从而实现室内、室外等不同场景的AR/MR特效、导航和导览等功能。
对于定位导航应用来说,首先需要构建高精度三维数字化地图(具体又可以分为稀疏点云地图构建和稠密三维几何构建),然后基于视觉重定位和SLAM技术可以实现连续的精准跟踪定位。
让机器看懂场景和环境
稀疏点云地图构建采用运动恢复结构(Structure from Motion,简称SfM)技术。
利用离线采集的视频或图片提取场景中的视觉特征,恢复图片的相机位姿和场景的稀疏三维点云,视觉特征和三维点云主要用于视觉重定位,而相机位姿可用来做进一步的稠密三维几何构建。
以采集的视频或图片以及SfM恢复的相机位姿为输入,经过稠密深度估计、深度融合、网格构建和纹理贴图,最终输出场景的精细化稠密点云和带纹理的三维网格模型,这就是稠密三维几何构建。
得益于商汤在原创技术研发上的产学研优势,浙江大学-商汤三维视觉联合实验室研究团队经过两年多时间的技术攻关和打磨,提出基于单目/多目/全景相机、惯性测量单元、GPS等多源数据的采集方案和多源数据融合建图算法,实现了高效稳定的地图数据采集、重建和更新。
2万平米场景一般可在1小时内完成数据采集,6个小时左右完成三维重建和纹理贴图(单节点服务器上),重建精度可达厘米级。
重建的高精度三维网格可以用来正确处理虚拟物体和真实场景的遮挡以及碰撞关系,实现具有高度真实感的增强现实效果。
知乎视频www.zhihu.com
让机器输出准确匹配场景
有了地图数据之后,用户如何透过终端将导航指示箭头等虚拟内容无缝融合在现实场景中?
关键就在于实时、准确地获取用户的相机位姿,由视觉重定位和SLAM一起来实现。
视觉重定位以用户拍摄图像为输入,将图像中的特征与地图数据中的特征进行匹配,获取图像特征点和地图三维点的2D-3D对应关系,并计算图像相机位姿,在SLAM过程中帮助进行累积误差的矫正。
SenseMARS视觉定位技术在商超、展馆等典型室内场景成功率高于95%,结合SLAM 技术实现连续稳定的位姿跟踪,同时拓展地图未覆盖到的区域。
SLAM技术利用相机、IMU等常见的传感器信息可以实时计算出当前设备的6DoF位姿,保证图像上AR效果与真实环境的一致性、稳定性及贴合性。
再借助离线高精度地图和高精定位结果,就可以保证在大尺度场景下长时间的高精定位和跟踪。
此外,针对目前APP方案比较重且SLAM算法的机型覆盖率不足的问题,商汤同时提供了轻量级的Web SLAM能力,能够在H5和小程序中实时运行。
用户无需安装App只需简单扫描二维码,即可体验完整的室内外定位和AR导航导览能力。
内容增强,让导航更直观和有趣味
基于以上这些技术,商汤SenseMARS平台可以支撑多种实际复杂场景中的高精度增强/混合现实需求。
在GPS信号难以覆盖的区域,让用户可通过图像或视频实时准确地获取自身位置。
结合商汤SLAM技术还能以增强/混合现实的方式获取场景的额外信息如导航、导览、商家介绍等基于位置的内容增强,切身感受AR与生活场景的巧妙融合。
三维点云可以导航吗_基于视觉高精定位的“室内AR导航”技术点解析相关推荐
- 导航定位向高精定位的演进与实践
导读 地图软件现在已成为人们出行必备的重要辅助工具.为了实现准确的导航,首先必须准确确定人或车的当前位置.因此,定位技术就是实现导航功能的基石. 本文较系统的介绍了手机.车机导航定位中使用的关键技术, ...
- 多帧点云数据拼接合并_基于单帧图像与稀疏点云融合的道路交通标线提取算法研究...
摘要: 近年来以人工智能为代表的新一代科学技术迅速发展,众多基于位置的新型服务对传统导航电子地图提出新的需求.GNSS(Global Navigation Satellite System,全球导航卫 ...
- 业内首发车道级导航背后——详解高精定位技术演进与场景应用
导读 10月30日,华为联合高德.千寻发布了业内首家面向手机用户的车道级导航应用.在这背后是高精度定位技术不断演进发展,最终走向成熟量产的过程.本文将结合高德地图在车道级导航及自动驾驶等领域的工作,分 ...
- matlab中给三维点云数据增加随机噪声_诺斯顿测量|三维激光扫描技术让化工厂改造变得更轻松和高效...
突发!9月1日下午,淄博一化工厂内发生火情,浓烟滚滚.据目击者称,火情发生在当天17:20左右并未造成人员伤亡,目前已被扑灭,起火原因尚在调查. 化工厂火灾.爆炸事故频繁发生每一次都让人唏嘘不已.据统 ...
- dpkg ihr状态_基于ZIHR航向角修正方法的行人导航算法
基于 ZIHR 航向角修正方法的行人导航算法 周广涛 , 王晴晴 , 高 远 [摘 要] 摘 要 : 在行人导航系统中 , 零速修正 (zero velocity update, ZUPT) 方 法能 ...
- 两个点 定位_基于双天线的北斗定位系统设计与实现
前期实际北斗模块定位误差统计分析中得出了北斗模块的定位误差分布服从正态分布,根据北斗模块定位误差分布的规律,利用在同一块电路板上的双天线模块接收北斗定位信号,将定位信息传给TMS320F28335DS ...
- 液压支架销轴力学计算分析研究_基于RFID射频精准定位的智能开采研究与应用...
一.项目背景 近年来随着智能开采技术的不断发展,装备和新工艺不断更新换代,在智能开采中,对采煤机位置的精准定位是能否实现智能开采的关键,只有准确无误地获取煤机的准确位置,才能实现工作面的智能化开采,进 ...
- 聚类技术---复杂网络社团检测_基于Plato高性能图计算框架的社团发现算法
近年来,图作为一种表示和分析大数据的有效方法,因为特别适合用作 社交网络.推荐系统.网络安全.文本检索和生物医疗等领域至关重要的 数据分析和挖掘工具, 而受到广泛关注. 这里的"图" ...
- nao机器人行走速度_基于PID控制的NAO机器人循线行走技术研究
基于 PID 控制的 NAO 机器人循线行走技术研究 秦 娇,王向华 [摘 要] 智能机器人的循线行走技术在工业安全领域具有重要意义.选用 NAO 机器人作为研究平台,创新点在于将其在平面上的运动学动 ...
最新文章
- MAC 安装 xctool 遇到的问题
- 分布式版本控制系统入门
- tomcat启动成功 未加载项目_喜讯!济宁医学院附属医院SPD项目成功启动
- Nplayer本地文件拷到服务器,手把手教你简易NAS构建,手机/平板/智能电视随意调取,家庭存储云共享,有了自己的网络云盘后再也不用担心容量不够了!...
- 面试官:Redis中的缓冲区了解吗
- html块状元素和内联元素_HTML中的内联元素和块元素-解释
- TensorFlow Lite发布重大更新!支持移动GPU、推断速度提升4-6倍
- c++之std::distance()函数
- 我的世界java版和基岩版对比_我的世界:java版和基岩版你更看好哪个?未来的发展,谁会更好...
- 华为云电脑.模式_云电脑还是云手机,为何阿里、华为都要做?
- 3D扁平化高绩效五项管理PPT模板
- 做网站要服务器和什么软件,做网站的软件有哪些,自己建网站要用到哪些软件?...
- 动什么别动感情 第66节:你不是一个虚荣的女性
- freebsd pkg常用命令
- 【Microsoft Office】无法在所选的更新通道上安装此产品
- 思岚科技受邀CES Asia 展示机器人定位导航领先技术
- 利用“爬虫软件获取某 TOP 级平台 11.8 亿条数据!嫌疑人被判刑!
- 现在的AI专业(如机器学习)已经沦为调包专业了吗?
- 三层架构编程、DAO层、Entity层、Service层、Controller层
- 计算机较为安全的硬盘分区,电脑到底该不该进行硬盘分区?原来我们都被骗了!...