相机+激光雷达重绘3D场景
将激光雷达与相机结合,再通过深度学习的方式获得场景的3D模型——Ouster首席执行官在博客中介绍了相机OS-1,并装有激光雷达。LiveVideoStack对原文进行了摘译。
文 / Angus Pacala. Ouster
译 / 王月美
技术审校 / 田栋
原文 https://medium.com/ouster/the-camera-is-in-the-lidar-6fcf77e7dfa6
很明显,当Ouster三年前开始开发OS-1时,相机的深度学习研究就超过了激光雷达研究。激光雷达数据具有突出的独特优势,——简举二例,如空间信息丰富、环境光照不敏感,——然而它缺乏类似于传统相机图像的原始(高)分辨率和高效的阵列存储结构,因而3D点云在神经网络学习或处理中迄今缺乏高效快速的硬件算法及实现。
考虑到两种传感模式之间的权衡,我们从一开始就将激光雷达和相机的优势集中在一个设备中。今天,我们发布了固件升级并更新到了我们的开源驱动程序中来实现这一目标。我们的OS-1激光雷达现在可以实时的输出固定分辨率的深度图像、信号图像和环境图像,而所有这些都不需要摄像头的参与。数据层在空间上完全相关,具有零时间失配或快门效应,并且每个像素具有16位和线性光响应。
让我们一探究竟:
同时从OS-1输出的实时图像层。你从上到下看到的是环境、强度、范围和点云——这些所有来自我们的激光雷达。请注意,环境图像捕获了多云的天空和树木及车辆的阴影。
相比大多数数码单反相机,OS-1的光学系统具有更大的光圈,并且我们开发的光子计数ASIC具有极低的光敏度,因此即使在低光照条件下也能够收集环境图像。OS-1捕获近红外信号和环境数据,因此数据非常类似于相同场景的可见光图像,这使得数据具有自然的外观,且为摄像机开发的算法很好地转换为数据提供了更高的可能性。未来,我们将努力从这些环境图像中去除固定模式噪声,但与此同时我们希望可以让客户获得数据!
另外,还更新了我们的开源驱动程序,将这些数据层输出为固定分辨率的360°全景帧,以便客户能够立即开始使用新的功能。而且,我们将提供基于VTK构建的新的跨平台可视化工具,用于查看、记录 、并在Linux,Mac和Windows上并排播放图像和点云。传感器输出的数据不需要后期处理即可实现此功能——该神奇之处是在于硬件,而驱动程序只是将流数据包组装成图像帧。
我们的新开源可视化工具。完整未经编辑的视频:https://www.youtube.com/watch?v=LcnbOCBMiQM
获得早期访问更新权的客户已经被打动了,我们鼓励任何对OS-1感兴趣的人在线观看我们未经编辑的视频,或者下载我们的原始数据并使用可视化工具自行播放。
固件更新页面:https://www.ouster.io/downloads
Github和样本数据:www.github.com/ouster-LIDAR
这不是噱头
我们已经看到多家激光雷达公司推出激光雷达/相机融合解决方案。通过将一个单独的相机与一个激光雷达联合安装,执行伪劣的外部校准,并为最终无用的产品推出了新闻稿。但是,我们没有这样做。为了证明这一点,我们想要分享一些证明OS-1传感器数据有多么强大的例子,这将让我们回到深度学习。
由于传感器在每个像素处输出具有深度,信号和环境数据的固定分辨率图像帧,因此我们能够将这些图像直接馈送到最初为相机开发的深度学习算法中去。我们在矢量中编码深度,强度和环境信息,这很像彩色图像的网络将编码输入层的红色,绿色和蓝色通道。当然,我们训练过的网络已经非常适用于新的激光雷达数据类型。
作为一个示例,我们训练了每像素语义分类器,以识别来自旧金山周围的一系列深度和强度帧中的可驾驶道路,车辆,行人和骑自行车的人。我们能够在NVIDIA GTX 1060上实时运行生成的网络,并取得了可喜的成果,特别是考虑到其实这是我们尝试的第一个实现。请查阅:
完整视频: https://www.youtube.com/watch?v=JxR9MasA9Yc
因为每个像素都提供了所有的数据,所以我们能够无缝地将2D掩码转换为3D帧,以进行额外的实时处理,如边界框估计和跟踪。
在其他情况下,我们选择将深度,信号和环境图像分开,并将它们独立地传递到同一网络中去。例如,我们从DeTone等人的SuperPoint项目中获取了预先训练好的网络,并直接在我们的强度和深度图像上运行它。网络在大量通用RGB图像上进行训练,且从未见过深度/激光雷达数据,但强度和深度图像的结果却令人惊叹:
完整视频: https://www.youtube.com/watch?v=igsJxrbaejw
仔细检查后,很明显地发现,网络正在拾取每个图像中的不同关键点。任何从事激光雷达和视觉测距的人都会掌握这个结果中所体现的冗余的价值。激光雷达测距仪只在隧道和高速公路等几何均匀的环境中使用,而视觉测距仪则在无纹理和光线不足的环境中使用。而OS-1的相机/激光雷达融合将为这个长期存在的问题提供多模式解决方案。
以上这些结果令我们相信,融合的激光雷达和相机数据远远超过其各部分的单纯总和,我们期望未来激光雷达和相机之间能够有进一步融合。
相机+激光雷达重绘3D场景相关推荐
- CLOCs:一种相机-激光雷达3D目标检测后融合方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨paopaoslam 来源丨泡泡机器人SLAM 标题: CLOCs: Camera-LiDAR ...
- Python批量重命名Maya场景中的3D物体
最初接触Maya是从7.0开始的,那时候Maya只支持mel(Maya Expression Language),mel的局限性很大,只能在Maya内部使用,功能来说没有Python强大: 后来从Ma ...
- 游戏原画设计分为两个岗位:角色原画设计和场景原画设计;3D建模分为四个岗位:手绘低模3D角色、手绘低模3D场景、次世代角色高模和次世代场景高模。游戏原画好比是楼房的设计图纸,而游戏建模就是楼房支架。2
游戏原画设计分为两个岗位:角色原画设计和场景原画设计:3D建模分为四个岗位:手绘低模3D角色.手绘低模3D场景.次世代角色高模和次世代场景高模.游戏原画好比是楼房的设计图纸,而游戏建模就是楼房支架.2 ...
- 使用c#重绘凸出的3d边框
使用c#重绘凸出的3d边框 1.新建c#项目 2.新建一个类,继承于一个控件,如label控件 3.新建的MyLabel类的代码操作 4.窗口代码 5.运行效果 6.源码 MyLabel源码 usin ...
- Goolge新AI算法实时生成3D场景 | 可下载
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 3D模型又有新玩法,Goolge的新AI算法实时生成3D场景!对于3D.AR/VR来说,三维重建.模型 ...
- Pri3D:一种利用RGB-D数据固有属性完成3D场景感知的表示学习方法
Pri3D:Can 3D Priors Help 2D Representation Learning? (ICCV2021) 代码地址:https://github.com/Sekunde/Pri3 ...
- 假3D场景逼真到火爆外网!超1亿像素无死角,被赞AI渲染新高度
萧箫 杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 先来看一段"视频",有没有看出什么不对劲的地方? 其实,这仅仅是由一组照片渲染出来的(右下角为拍摄照片)! 生成的 ...
- CVPR2021最佳论文:当GAN遇到3D场景,无需监督就学会“动态抠图”、360度展示对象...
月石一 发自 凹非寺 量子位 报道 | 公众号 QbitAI GAN又又又有新玩法了! 人脸?NO,NO,NO~ 这回,开发者利用「3D+GAN」生成了汽车大片,还是能360度展示.随手换背景那种. ...
- 今年CVPR,我们填补了3D场景布局数据集空白,并向全世界开源!
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 6月14日,"Learning 3D Generative Model" Work ...
最新文章
- 计算机学院杨洋,美国莱特州立大学吴志强教授访问计算机科学与技术学院
- Python开发基础总结之函数+闭包+字典+列表
- java并发编程基础—生命周期与线程控制
- 数据库高可用和分区解决方案-MySQL 篇
- IM群聊消息如此复杂,如何保证不丢不重?
- 解析 WordPress 插件机制
- 从控制台输入一个数 num 与之前定义的数 n 进行比较
- 转: CentOS 安装 SVN1.8 客户端
- mysql server出现_查询各阶段时,一旦mysql server出现各种故障下的表现形式
- 计算机四进制表示形式,1.4.2 二进制数的四种表示形式(1)
- iOS app 启动 crash XCode 11 NSPOSIXErrorDomain Code=2 “No such file or directory“
- 物联网LoRa系列-25:LoRa终端--LoRaWAN协议简介与LoRa WAN终端软件选择
- disc性格测试cs适合职业_DISC性格测试,高C型的人适合从事什么工作?
- 机器人建图算法1、基础的地图结构和建图类型
- 硬件原理图 一键开关机电路
- 笔记本电脑分区后怎么恢复?3个方法
- java memcmp_【转】 memcmp源码实现
- Hive大总结!!!
- python 使用while循环输出*组成的菱形_python实现while循环打印星星的四种形状
- Visual Studio开发环境介绍 及控件属性、事件
热门文章
- chapter3.1封装和解构
- The 'microsoft.jet.oledb.4.0' provider is not registered on the local machin
- (转载)Unity真机调试
- Lidgren.Network – an introduction to networking in C# games
- js 对 URL 参数进行 加密 解密
- php开启与关闭错误提示
- 天下会 - 搜索实战系列之视频
- 2020ICPC(上海) - Walker(分类讨论+二分)
- java io字符输出流_JAVA IO 字符输入流与输出流总结说明
- 隐藏驱动模块(源码)