1 大场景图像三维建模的应用

1.1 总体分类

1.2 典型应用

2 几何视觉的核心问题

3 图像三维建模基本流程

3.1 稀疏重建(Structure from Motion)

3.1.1 特征点匹配难点-误匹配

3.1.2 增量式的优势与不足

3.1.3 全局式的优势与不足

3.1.4 混合式的优势和不足

3.1.5 稀疏重建总结

3.1.6 稀疏重建中亟待解决的问题

3.1.7 开源SfM软件

3.2 稠密重建(Multiple View Stereo)

3.2.1 基于体素的MVS算法优缺点：

3.2.2 基于特征点扩散的MVS算法优缺点：

3.2.3 基于深度图融合的MVS算法优缺点：

3.2.4 稠密重建(MVS)总结

3.2.5 开源MVS软件

3.3 点云语义分割(Semantic Segmentation)

3.4 部件语义建模(Semantic Modeling)

3.4.1 商业软件 (SfM+MVS+Modeling)

4 总结与未来发展趋势

1 大场景图像三维建模的应用

1.1 总体分类

1.2 典型应用

2 几何视觉的核心问题

三维几何视觉核心问题：场景结构+相机位姿+(相机参数)
途径一： Structure from Motion (SfM) + Multiple View Stereo (MVS)
—多视角图像
—重建场景稀疏结构与相机位姿（ off-line）
—SfM后可通过MVS获得稠密场景结构（ off-line）
—SfM后可通过PnP计算相机实时位姿（ on-line）
途径二： Simultaneous Localization and Mapping (SLAM)
—视频序列
—重建场景稀疏/准稠密/稠密结构与相机位姿（ on-line）
—需要闭环检测+图优化（ on-line）

3 图像三维建模基本流程

3.1 稀疏重建(Structure from Motion)

核心算法：
1）匹配点序列最优约减
2）场景群组自动分解与合并
3）混合式SfM（增量+全局）
4）重复纹理自动抑制
5）天地图像融合SfM

3.1.1 特征点匹配难点-误匹配

错误的外极几何关系

方案

Zach, Christopher, et al. "Disambiguating visual relations using loop constraints." CVPR 2010.
其他解决方案
1） Roberts, Richard, et al. “Structure from motion for scenes with large duplicate structures.”
CVPR 2011.（基于丢失匹配与时间戳进行对极几何图采样）
2） Wilson, Kyle, and Noah Snavely. “Network principles for sfm: Disambiguating repeated
structures with local context.” CVPR 2013 （基于track的可视性判断误匹配）
3） Wu,C. “Towards linear-time incremental structure from motion.” 3DV2013（基于大尺度
特征点快速寻找候选匹配对）
4） T. Shen, S. Zhu, T. Fang, R. Zhang, and L. Quan. “Graph-based consistent matching for
structure-from-motion.” ECCV 2016（基于语义树和团体检测减少候选匹配对）
5） Qingan Yan, et al. “Distinguishing the Indistinguishable: Exploring Structural Ambiguities
via Geodesic Context.” CVPR 2017 （聚类得到代表图像）

3.1.2 增量式的优势与不足

系统对于特征匹配以及外极几何关系的外点比较鲁棒，重建场景精度高:
1.标定过程中通过RANSAC不断地过滤外点
2.捆绑调整（Bundle Adjustment, BA）不断地优化场景结构

主要不足:

1.敏感：初始图像对选择及摄像机的添加顺序
2.场景漂移: 大场景重建时的累积误差
3.效率不足：反复的捆绑调整需要大量的计算时间

3.1.3 全局式的优势与不足

主要优势：

1.将误差均匀分布在外极几何图上，没有误差累积；
2.不需要考虑初始图像和图像添加顺序的问题；
3.仅执行一次捆绑调整，重建效率高。

主要不足:

1.鲁棒性不足：旋转矩阵求解时L1范数对外点相对鲁棒；而摄像机位置求解时相对平移关系对匹配外点比较敏感；
2.场景完整性: 过滤外极几何边，可能会丢失部分图像。

3.1.4 混合式的优势和不足

主要优势：

1.求解旋转矩阵时误差均摊到了外极几何图中
2.全局旋转矩阵的求解缓解了后续增量式的误差累积问题
3.求解摄像机位置时，两点法求取更加鲁棒，所需的捆绑次数更少

主要不足:

1.计算摄像机位置仍需要重复迭代的捆绑调整，效率需要进一步改善

3.1.5 稀疏重建总结

稀疏重建通过摄像机运动恢复场景结构，当前主流方法主要区分在于摄像机初始位姿计算的模式。
1）增量式鲁棒，场景结构准确，但效率不足；全局式仅一次捆绑调整，效率高，但鲁棒性不足，易受到匹配外点的影响；
2）混合式继承了增量和全局两种模式的优点：不仅提高了旋转矩阵的求取精度，而且在保持鲁棒性的前提下，提高了增量式重建的效率。

3.1.6 稀疏重建中亟待解决的问题

1）鲁棒性：图像特征点（学习得到的点或者带语义信息的点）
2）模型的完整性：地面图像与天空图像之间的匹配
3）效率：更快速的图像匹配策略（保证召回率）；分布式SfM

3.1.7 开源SfM软件

Project	Language	License
Bundler	C++	GNU General Public License - contamination
Colmap	C++	GNU General Public License - contamination
MAP-Tk	C++	BSD 3-Clause license - Permissive
MICMAC	C++	CeCILL-B
MVE	C++	BSD 3-Clause license + parts under the GPL 3 license
OpenMVG	C++	MPL2 - Permissive
OpenSfM	Python	Simplified BSD license - Permissive
TheiaSfM	C++	New BSD license - Permissive

3.2 稠密重建(Multiple View Stereo)

核心算法：
1）邻域图像组最优选择
2）多视图PatchMatch
3）局部一致性点云过滤
4）全局一致性点云融合
5）天地图像融合MVS

3.2.1 基于体素的MVS算法优缺点：

Pros：

 生成规则点云
 易于提取Mesh (Marching cube algorithm)

Cons：

 精度取决于voxel粒度
 难以处理大场景

3.2.2 基于特征点扩散的MVS算法优缺点：

Pros：

 点云精度较高
 点云分布均匀

Cons：

 弱纹理区域造成扩散空洞
 需要一次读入所有图像（改进：Clustering Views for PMVS， CMVS）

3.2.3 基于深度图融合的MVS算法优缺点：

Pros：

 适用于大场景海量图像(并行计算深度图)
 得到的点云数量多(冗余)
 目前的开源和商用软件基本都采用这类方法

Cons：

 很大程度上依赖于邻域图像组的选择

3.2.4 稠密重建(MVS)总结

稠密重建的目的：

在SfM基础上(相机内外参数已知)，计算每个像素点对应的3D点

稠密重建三类基本方法：

基于体素的方法
基于点云扩散的方法
基于深度图融合的方法

稠密重建的后续操作：

三角网格建模（得到mesh模型）
LOD建模（得到标准城市模型）
BIM建模（得到标准建筑物模型）

3.2.5 开源MVS软件

Project	Language	License
Colmap	C++ CUDA	GNU General Public License - contamination
GPUIma + fusibile	C++ CUDA	GNU General Public License - contamination
HPMVS	C++	GNU General Public License - contamination
MICMAC	C++	CeCILL-B
MVE	C++	BSD 3-Clause license + parts under the GPL 3 license
OpenMVS	C++ CUDA	AGPL3
PMVS	C++ CUDA	GNU General Public License - contamination

3.3 点云语义分割(Semantic Segmentation)

核心算法：
1）正射影像+NDSM生成
2）随机森林分类
3） CNN集成学习分类
4） Active Learning分类

3.4 部件语义建模(Semantic Modeling)

核心算法：
1）单体建筑精细提取
2）基于先验的VSA分割
3）外轮廓规整化
4） LOD自动建模

3.4.1 商业软件 (SfM+MVS+Modeling)

Software	Company
ContextCapture	Bentley Acute3D
PhotoMesh	SkyLine
StreetFactory	AirBus
PhotoScan	AgiSoft
Pix4DMapper	Pix4D
RealityCapture	RealityCapture

4 总结与未来发展趋势

2019.07，第二届“SLAM技术及应用"暑期学校,浙江大学，”基于图像的三维建模"[PDF]:

2018.05，云栖2050年，三维视觉及应用论坛，”基于图像的大规模场景三维建模"[PDF]:

2017.11，CCCV 2017教程，”基于图像的大规模场景三维建模"[PDF]:

参考：

申抒含2018.05，云栖2050年，三维视觉及应用论坛，”基于图像的大规模场景三维建模"[PDF] http://vision.ia.ac.cn/Faculty/shshen/index.htm
自动矢量化步骤_中科院自动化所申抒含：基于图像的大规模场景三维建模
基于图像的大规模场景三维重建(上)：https://www.leiphone.com/news/201711/9dxX6g30dlEoqvPZ.html
基于图像的大规模场景三维重建(下)：https://www.leiphone.com/news/201711/s6CHNAyjurPPyKiz.html

三维重建笔记_基于图像的大规模场景三维建模overview相关推荐

Game AI SDK开源发布：基于图像的游戏场景自动化框架
导语 2020年7月,我们探讨了AI与自动化测试的关系,并向大家介绍了腾讯互动娱乐事业群TuringLab团队出版的<AI自动化测试:技术原理.平台搭建与工程实践>一书.这本书将Turin ...
控件获取图像可从几方面取得?_基于图像特征与布局刻画的移动测试脚本跨平台录制回放...
一. 引言移动应用在全球范围内有着越发举足轻重的地位,因此移动应用的快速迭代和频繁的需求变更的特点引发了对应用质量保障的要求不断提高.在大型设备集群上迁移测试脚本是移动应用质量保障的关键技术之一,因 ...
python提取人物特征_基于图像人物面部表情识别的特征提取优化方法与流程
本发明涉及一种基于图像人物面部表情识别的特征提取优化方法,主要利用基于统计特征提取的二维主成分分析法和改进的粒子群算法优化图像矩阵的解,属于图像处理.模式识别和计算机视觉交叉技术应用领域. 背景技术: ...
openglshader实现虚拟场景_基于OpenGL的雨雪场景仿真
基于 OpenGL 的雨雪场景仿真张沛露 [期刊名称] <活力> [年 ( 卷 ), 期] 2019(000)020 [总页数] 1 [关键词] [ 关键词 ] 雨雪仿真: OpenGL ...
论文研读笔记_基于优化的SVM心音信号分类算法的研究
论文研究_基于优化的SVM心音信号分类算法的研究先存起来,持续更新摘要心音信号采集易混入杂音,影响判断: 经验式模态分解算法分析特征分布:心音信号集中于低频.噪音集中于高频: 利用切比雪夫滤波器 ...
【论文速读】基于图像的伪激光雷达三维目标检测
点云PCL免费知识星球,点云论文速读. 标题:End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 作者:Rui Qian, Divy ...
kelvin模型蠕变方程_基于改进Kelvin模型的三维蠕变损伤模型研究
基于改进 Kelvin 模型的三维蠕变损伤模型研究吴祝林 1 , 2 王伟 1 , 2 朱鹏辉 1 , 2 陈曦 1 , 2 [摘要] 摘要:岩石在长时间的蠕变发展中,会呈现出不同的阶段性特性 ...
椭球拟合的电子罗盘磁差补偿_基于椭球曲面拟合的三维磁罗盘误差补偿算法.pdf...
您所在位置:网站首页 > 海量文档 &nbsp>&nbsp学术论文&nbsp>&nbsp自然科学论文基于椭球曲面拟合的三维磁罗盘误差补偿算法.pdf ...
eplan 电箱布局_基于Eplan的电柜三维布线的应用
龙源期刊网 http://www.qikan.com.cn 基于 Eplan 的电柜三维布线的应用作者:吴西贵来源:<科技创新与应用> 2017 年第 23 期摘要:介绍了 Epl ...
桥梁计算机辅助设计直接建模法,基于CATIA的大型桥梁三维建模方法
1.引言三维设计技术是当前计算机辅助设计技术的发展趋势,在机械.建筑.化工.石油等设计行业已得到比较成功应用,并成为市场竞争的重要工具.近年来BIM/PLM所提倡的面向建筑全生命周期的集成建模技术在 ...

三维重建笔记_基于图像的大规模场景三维建模overview

1 大场景图像三维建模的应用

1.1 总体分类

1.2 典型应用

2 几何视觉的核心问题

3 图像三维建模基本流程

3.1 稀疏重建(Structure from Motion)

3.1.1 特征点匹配难点-误匹配

3.1.2 增量式的优势与不足

3.1.3 全局式的优势与不足

3.1.4 混合式的优势和不足

3.1.5 稀疏重建总结

3.1.6 稀疏重建中亟待解决的问题

3.1.7 开源SfM软件

3.2 稠密重建(Multiple View Stereo)

3.2.1 基于体素的MVS算法优缺点：

3.2.2 基于特征点扩散的MVS算法优缺点：

3.2.3 基于深度图融合的MVS算法优缺点：

3.2.4 稠密重建(MVS)总结

3.2.5 开源MVS软件

3.3 点云语义分割(Semantic Segmentation)

3.4 部件语义建模(Semantic Modeling)

3.4.1 商业软件 (SfM+MVS+Modeling)

4 总结与未来发展趋势

三维重建笔记_基于图像的大规模场景三维建模overview相关推荐

最新文章

热门文章