关于视觉重定位（VPS）的工作经验分享
在AR领域也呆了不短时间了，也一直在做视觉定位相关的工作，这里分享一下有意思的工作方向，感兴趣的可以讨论或者联系我即可。
首先简单区分AR和VR的区别，VR 属于虚拟现实 ，即是由实入虚的过程，入口往往需要一个笨重的设备来进入；而AR是增强现实，即是虚实结合的过程，也是目前元宇宙中主要的技术。另外AR的设备源相比于VR来说轻量的多，AR技术出现的其实很早，目前之所以再次被提出来并赋予一个“元宇宙”的称号,是因为智能手机的发展已经逼近一个瓶顶，各大厂商在手机上已经没有多少余热，而智能手机-第三次工业革命的产物却恰恰是AR技术最直观、最便捷的入口，几乎每个人都拥有一部智能手机（眼镜是AR的下一次革命）。
AR中最核心的技术是视觉定位技术，也就是目前又一个火热的学术名词“空间计算”，而目前主流的VPS技术可以分为两个层面：地图构建层 和定位服务层。地图的构建可以采用SLAM或者SfM，目前主流的方案是使用SfM，SfM大家以前用到的最多的是隶属于视觉三维重建pipeline（sfm+mvs+mesh+texture）,按照摄影测量的话就是空三模块，而现在如果一个企业单纯是研发一套和photoscan、realitycapture、ContextCapture、inpho、pix4d等类似的一套非常成熟的三维重建软件，基本是死翘翘，当然如果是头部公司想made in China，这个工作的意义和使命感就不同。而后续的全局定位服务层依赖于构建的先验地图。
目前VPS 的工作内容：
地图构建层：
（1） 大场景AR 地图构建，众所周知随着照片个数的增多，sfm的速度感人，怎么保证如3万、10万张图像地图的构建？，如果单纯是用一下colmap 、openmvg等开源去构建，那么项目交付的整个周期恐怕没有一个甲方会接受吧。
（2） 对于构建的AR的定位地图，如何去自动化评估构建的地图质量？，最传统的方式是利用高昂贵的激光或者人工扛着全站仪打点评估精度，但是这种费时费力。
（3）地图的存储，要知道一个场景下来，3D 点的数量可是巨大的，里面有利于定位的元素，也有对定位无关紧要的点，如果全部存储，那么存储空间恐怕没有一个能满足要求的，那么如何去做地图的简化？
定位服务层：
（4）定位服务层，怎么解决long-term 问题？当然superpoint + superglue 是一个不错的选择。
（5）即使使用SOTA sp+sg 算法，在有些场景下，匹配点数就是很少，那么pnp的时候算出来的pose 也肯定是不能用的，那么只有point-based形式是否够用，是否要去提升地图的维度？
（6）也是最难的一关，这个按理说应该是属于地图构建层，但是和定位服务也可实时捆绑。那就是如何做多源数据的地图更新，即是大家所说的“众包"，因为地图构建的传感器和定位终端的传感器不一定相同，但是多个人拿着手机拍摄，手机端的数据对场景的丰富度、完整性同样有用，怎么保证终端手机或者眼镜的数据来补充构建的先验地图，保证地图“实时更新”。
当然以上的VPS技术都是map-based 的方式，那么可以考虑一下，我们视觉重定位是否真真需要先验地图，那么可以去看看视觉重定位泰斗（Torsten Sattler-也是colmap作者导师的同事）2017的疑问：Are Large-Scale 3D Models Really Necessary for Accurate Visual Localization?；Torsten Sattler在2022年用新的视觉重定位方式回答了他2017的问题：MeshLoc: Mesh-Based Visual Localization。
关于视觉重定位（VPS）的工作经验分享相关推荐
- 显著性目标检测和视觉重定位
显著性目标检测 一.Highly Efficient Salient Object Detection with 100K Parameters 本文旨在通过提高网络计算效率来缓解计算花费与模型性能之 ...
- 浙大研究生Hadoop工作经验分享
为什么80%的码农都做不了架构师?>>> 浙大研究生Hadoop工作经验分享http://pan.baidu.com/s/1sjt5YKP 更多精彩内容请关注: 转载于:ht ...
- UI设计汪汪Yuki丨云沃客工作经验分享
原文链接 UI设计汪汪Yuki丨云沃客工作经验分享 笑一笑930509 2017-05-15 18:53:19 浏览27 评论0 发表于: 云工作平台 IT众包 云沃客 远程工作 摘要: 一枚来自 & ...
- 软件测试工作经验分享
最近,部门刚毕业入职的小MM跟大家提议,让大家把自己的软件测试工作经验分享一下,我整理了一下,可能不全. 测试工作经验分享 天晴于2016年7月13日 一.测试阶段划分 1. 单个模块功能测试时间相对 ...
- 【论文笔记】开放场景下的实时视觉重定位方法 HF-Net 2019
HF-Net: From Coarse to Fine: Robust Hierarchical Localization at Large Scale 作者:Paul-Edouard Sarlin1 ...
- 一个落魄站长3年来网站建站工作经验分享
从开始到现在,一路走来,不知见证了多少网络奇迹!光阴似箭,在IT行业打拼也有几年了,一直没有多大的成就,这几年一直从事网站建设以及程序开发工作,积累了一些经验.今天就借助A5平台给新站长们一个经验分享 ...
- 软件测试工程师工作经验分享
关于一位国外测试工程师的职业经历 你是如何开始做测试工作的? 1989年,我在田纳西大学读研究生的时候,完成了从软件开发人员到软件测试人员的转型.而这一转型并非出于我自己的选择.我命运的改变发生在一个 ...
- 找工作经验分享贴——硬件岗求职历程
秋招经验分享贴--硬件求职历程 2021年的秋招已经正式结束了,最近看到很多公司的春招已经如火如荼的开始了,甚至有些公司的2022年暑期实习生招聘也已经开始了. 去年的秋招经历的事情还是比较多的,获得 ...
- 工作经验分享-vivo链路监控
0. 监控 1. 监控系统:一个监控系统应该至少有三类输出:紧急警报,工单,日志 2. 为了更好的满足用户的需求,我们搭建了一套一体化监控系统,从硬件,网络,服务,应用全覆盖链路监控 ...
最新文章
- 如果计算机语言是中国人发明的 | 每日趣闻
- tensors used as indices must be long or byte tensors
- mfc程序转化为qt_10年程序员：我都学过这些语言，2019年开始我再也不是程序员......
- PP视频如何查看上下集的快捷键
- getresourceasstream方法_【设计模式】第三篇：一篇搞定工厂模式【简单工厂、工厂方法模式、抽象工厂模式】...
- java中面向对象租车问题_答答租车系统-Java面向对象的学习
- Jrebel 激活方式
- cad页面布局快捷键_炸裂“图纸集”功能、高手都在偷偷用的CAD图纸管理神器
- 斯坦福 CS224n 中文笔记整理活动 | ApacheCN
- pygame显示图片的方法_使用Sprite实现移动动画（Pygame中的精灵类）
- “减少风险”还是“管理风险”哪一根才是救命稻草？
- Android的Bundle传递数据的使用
- linux运行h3c校园网,H3C Lite轻量级校园网认证Linux客户端（For SHNU）
- 王朝娱乐H5 游戏源码（cocos creator , pomelo + mongDB）搭建教程
- 计算机高级培训教师感言,教师信息技术培训感言信息技术培训心得多篇.docx
- c++语言如何判断奇偶数,C++ 判断奇数偶数
- python 使用pyserial控制温箱（附源码）
- 2021年研究生入学考试总结和复试冲刺复习计划
- 多线程处理大数据量查询
- 重磅发布: 营销数据中台白皮书(附全文下载)