论文基本情况：

题目：Joint 3D Scene Reconstruction and Class Segmentation
出处：Hane, C., Zach, C., Cohen, A., Angst, R., & Pollefeys, M. (2013). Joint 3D scene reconstruction and class segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 97-104).

摘要

图像分割和从图像进行密集3D建模都代表了固有的不适定问题(ill-posed problem)。因此，需要强大的调节器(regularizers)来限制解决方案的“过于嘈杂”(too noisy)。不幸的是，这些先验通常在某些区域中产生过分平滑的重建和/或分割，而在其他区域中它们却无法充分约束解决方案。在本文中，我们认为图像分割和密集的3D重建可为彼此的任务提供有价值的信息。因此，我们提出了一个严格的数学框架来制定和解决联合分割和稠密重建问题。图像分割提供了几何线索，围绕这些线索，表面取向(surface orientations)更可能出现在空间中的某个位置，而密集的3D重构通过将标记从2D图像提升到3D空间，为分割问题提供了合适的正则化。我们展示了如何从训练数据中学习基于外观的线索和3D表面定向先验(3D surface orientation priors)，然后将其用于特定于类的正则化。在几个真实数据集上的实验结果凸显了我们联合公式化(joint formulation)的优势。

介绍

尽管近年来已经取得了显着进步，但是图像分割和从图像进行密集的3D建模仍然是本质上不适的问题。解决这种不适的标准方法是通过引入相应的先验来规范解决方案。传统上，在图像分割方法中强制执行的先验是完全在2D图像域中声明的（例如，对比敏感的空间平滑度假设），而用于基于图像的重构的先验通常会以3D形式，生成分段的平滑表面作为其解决方案。在本文中，我们证明了联合图像分割和密集3D重建对这两项任务都是有益的。虽然在文献中已经观察到并利用了用于分割和3D重建的联合公式的优点，但我们的主要贡献是引入了严格的数学框架来制定和解决此联合优化任务。我们扩展了体块场景重建方法(volumetric scene reconstruction methods)，将感兴趣的体块分割成已占用和自由空间区域，应用到为体素分配对象类或自由空间标签的体块分割框架中。一方面，这种联合方法非常有益，因为表面元素的关联外观（以及可能的语义类别）会先于影响空间平滑度。因此，由图像外观引导下的特定于类的正则化器(a class-specific regularizer)，可以自适应地增强空间平滑度和3D表面的首选方向。另一方面，密集重建的模型会引起图像分割，保证图像分割仅对应于3D中具有几何意义的对象。因此，分割结果在多个图像上是基本一致的。

论文笔记_S2D.02-2013-CVPR-结合三维场景重建和类别分割相关推荐

论文笔记：SPADE（CVPR 2019）-Semantic Image Synthesis with Spatially-Adaptive Normalization
论文笔记:SPADE(CVPR 2019)-Semantic Image Synthesis with Spatially-Adaptive Normalization SPADE DEMO 前言语 ...
【研究报告】从单目深度估计到单目三维场景重建-沈春华老师-VALSE Webinar 22-13（总第279期）
从单目深度估计到单目三维场景重建-沈春华老师-VALSE Webinar 22-13(总第279期) 报告总结 & 相关论文论文代码相关术语前言研究问题单目深度估计单目三维场景重建 ...
神经辐射场（NERF）模型：一个令人惊叹的三维场景重建方法
在计算机图形学.计算机视觉和增强现实等领域,三维场景重建一直是一个热门话题.近年来,神经网络模型的出现已经彻底改变了这个领域,而其中最引人注目的就是 NERF(神经辐射场)模型.在这篇文章中,我们将深 ...
「每周CV论文推荐」初学深度学习单图三维人脸重建需要读的文章
基于图像的人脸三维重建在人脸分析与娱乐领域里有巨大的应用场景,本文来介绍初学深度学习单张图像人脸三维重建必须要读的文章. 作者&编辑 | 言有三 1 3DMM与数据集虽然这里推荐的是深度学习 ...
三维场景重建整合笔记
近年来,随着智能手机.头盔立体显示等技术的发展和普及,虚拟现实技术取得了飞速发展.在 VR 技术中场景建模是最关键的一步.3D 游戏通常采用专业三维建模软件, 如 Autodesk Maya.Au ...
实车采集的数据重建场景_SIGGRAPH | 多机器人协同三维场景重建
关键词:三维重建机器人编者按本文是另一篇北京大学陈宝权课题组将在SIGGRAPH 2019宣读的论文的解读. 该论文题为<Multi-Robot Collaborative Dense S ...
论文笔记_S2D.77_2013_TOR_使用RGBD相机的3D建图(RGBD SLAM V2)
目录基本情况摘要介绍系统流程特征提取运动估计 EMM:Environment Measurement Model 回环检测图优化建图OctoMap 参考基本情况出处:Endres ...
【论文笔记】SSCDNet：弱监督语义场景变化检测模型
本文是论文<Weakly Supervised Silhouette-based Semantic Scene Change Detection>的阅读笔记. 文章提出了一个新颖的弱监督语 ...
DepthPano-TOG2020 学习整理（一）——有关全景图的三维场景重建
Noise-Resilient Reconstruction of Panoramas and 3D Scenes using Robot-Mounted Unsynchronized Commodi ...
基于 RTAB-MAP 算法实现真实三维场景重建
已经安装配置好了rtabmap,实现了基于gazebo的三维重建,但是导师说想看看真实场景的重建效果,由于没有真实机器人小车,所以是直接在网上找的bag包做测试. 安装配置rtabmap可以参考:基于 ...

论文笔记_S2D.02-2013-CVPR-结合三维场景重建和类别分割

论文基本情况：

摘要

介绍

论文笔记_S2D.02-2013-CVPR-结合三维场景重建和类别分割相关推荐

最新文章

热门文章