SUN3D: A Database of Big Spaces Reconstructed using SfM and Object Labels
数据集介绍
数据集和对应工具地址：http://sun3d.cs.princeton.edu SUN3D数据集包含有对于完整房间的RGBD图像，相机位姿，语义分割和三维点云。
语义分割和三维重建任务是可以相互促进的，在一帧上的正确语义分割通过三维重建结果传递到其他帧。如果每个帧都进行了语义分割，三维重建中就获得了较强的数据关联。
数据驱动的SfM算法
传统SfM算法的闭环算法经常失败，本文为闭环设计了较保守的阈值。来确保闭环的准确率，同时通过设计轨迹让相机经过同一地点多次来爆炸回环能被顺利检测到。
相邻帧匹配
计算SIFT特征描述子，对拥有有效深度的点通过RANSAC算法计算位姿变换矩阵。
回环
通过使用k-means算法计算词袋模型，如果候选SIFT特征匹配有超过25对，合并轨迹。
2D-3D联合BA
累乘之前得到的位姿变换矩阵作为BA优化的初值，再代价函数中考虑特征的2D和3D坐标： min ∑ c p ∈ V ( c ) ( ∥ x ~ p c − K [ R c ∣ t c ] X p ∥ 2 + λ ∥ X ~ p c − [ R c ∣ t c ] X p ∥ 2 \min \sum_{c p \in \mathrm{V}(c)}\left(\left\|\tilde{\mathbf{x}}_{p}^{c}-\mathbf{K}\left[\mathbf{R}_{c} | \mathbf{t}_{c}\right] \mathbf{X}_{p}\right\|^{2}+\lambda\left\|\tilde{\mathbf{X}}_{p}^{c}-\left[\mathbf{R}_{c} | \mathbf{t}_{c}\right] \mathbf{X}_{p}\right\|^{2}\right. mincp∈V(c)∑(∥∥x~pc−K[Rc∣tc]Xp∥∥2+λ∥∥∥X~pc−[Rc∣tc]Xp∥∥∥2
深度图优化
从附近的帧中，根据TSDF补全深度图中的噪声。
多视角物体标注
上一章得到的重建结果，往往因为累计误差而不够精确。但是往往子序列的重建结果精度较高。对于每一帧，程序允许用户用多边形对于物体进行标注，标注完成后，可以和三维重建中已有的其他同类物体进行关联。
每一帧操作 当用户开始操作未标记的一帧时，之前帧的语义信息会投影到当前帧。用户可以对每一帧的结果做增加和修改。
多边形重建
通过将多边形角点附近的点进行平面拟合，平面和相机射线的交点就是角点的3D位置。
标注传播
对于未标注的帧，将临近帧的多边形投影到当前帧。通过比较深度图判断多边形的可见性，融合临近帧的多边形得到最终的结果。
冲突列表
用户纠结错误之后，所有拥有错误的标签的帧都不会参与标注传播，降低了错误标注的影响。
物体命名
用户可以对每个物体进行命名，如果相同的物体太多无法辨别，也进行标注，在之后的BA的不考虑这些约束。
广义BA
可以通过上节的标注来进一步优化相机位姿，本文认为属于同一标注的特征点匹配不再有价值，因为这些点大部分已经在跟踪和回环时匹配。
对于每个物体建模成中心点，旋转和尺度来进行匹配。对于墙，床等特殊的语义加以额外的约束。
SUN3D: A Database of Big Spaces Reconstructed using SfM and Object Labels相关推荐
- 《《《翻译》》》SUN RGB-D数据集
参考网址:http://rgbd.cs.princeton.edu http://www0.cs.ucl.ac.uk/staff/M.Firman/RGBDdat ...
- Matterport3D：室内环境RGB-D数据的深度学习
Matterport3D:室内环境RGB-D数据的深度学习 Taylor Guo, 2017年9月24日 Matterport3D: Learning from RGB-D Data in Indoo ...
- 【RedNet2018】RedNet: Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation
RedNet: Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation RedNet: 用于室内RGB-D语义分 ...
- Image Segmentation Using Deep Learning: A Survery
图像分割综述–论文翻译 论文地址:https://arxiv.org/pdf/2001.05566.pdf 图像分割综述论文 图像分割综述--论文翻译 摘要 介绍 深度神经网络的介绍 Convo ...
- 选择稀疏控制点的多标记点云标注
选择稀疏控制点的多标记点云标注 摘要 本文提出了细粒度的点云标注一个用户友好的方式.该方法要求用户通过鼠标接口选择属于对象的稀疏控制点.可以将多个控制点分配给相同的标签.该软件利用所选的控制点,在最短 ...
- 转载【数据集】计算机视觉，深度学习，数据挖掘数据集整理
金融 美国劳工部统计局官方发布数据 上证A股日线数据,1999.12.09 至 2016.06.08,前复权,1095支股票 深证A股日线数据,1999.12.09 至 2016.06.08,前复权, ...
- SQLDirect组件库用户指南
SQLDirect组件库 For Delphi 4, 5, 6, 7, 8, 9 (2005), 10 (2006), 2007 和C++ Builder 4, 5, 6, 2006, 2007 ve ...
- lucene.net mysql_用Lucene[1].net对数据库建立索引及搜索+
cs代码 using System; using System.Collections; using System.ComponentModel; using System.Data; using S ...
- Python DB-API 2.0规范
Python DB-API 2.0规范 PEP: 249 标题: Python Database API Specification v2.0 版本: 83893e13db91 修改日期: 2008 ...
最新文章
- sql移除数据中的换行符和回车符
- WinCE开机默认语言设置 .
- python模块--BeautifulSoup4 和 lxml
- va_list va_start va_end的使用
- c语言编程求连续几日的温差最大 最小值,数控维修理论题库(含答案)X2份..doc
- Apache JMeter 字体、字体大小修改
- spring入门到放弃——spring事务管理
- 微信公众平台服务器 反馈,微信公众号开发之大坑
- 2021—2022学年面向中小学生的全国性竞赛活动名单
- 再谈编程范式—程序语言背后的思想
- 《精通软件性能测试与LoadRunner最佳实战》—第1章1.1节软件测试基础
- Bailian2998 日志排序【排序】
- 利用GeoLite2-City.mmdb开源库将IP转换成经纬度—java项目小Demo
- Oracle JDK 与 OpenJDK
- 小麦积分墙：如何更好的使用积分墙
- 希尔伯特变换求包络原理
- css能更换图片颜色的,css改变图片的颜色
- sqlserver快捷键设置
- HDLBits（4） Procedures合集
- 理解left join的多次连续使用