Open3DGen:从RGB-D图像重建纹理3D模型的开源软件
点云PCL免费知识星球,点云论文速读。
文章:Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images
作者:Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne
编译:点云PCL
代码:https://github.com/ultravideo/Open3DGen.git
欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈。文章仅做学术分享,如有侵权联系删文。未经博主同意请勿擅自转载。
公众号致力于分享点云处理,SLAM,三维视觉,高精地图相关的文章与技术,欢迎各位加入我们,一起每交流一起进步,有兴趣的可联系微信:920177957。本文来自点云PCL博主的分享,未经作者允许请勿转载,欢迎各位同学积极分享和交流。
摘要
本文介绍了第一个完全开源的跨平台软件Open3DGen,用于从RGB-D图像重建照片级具有真实感的3D模型,该软件流程上包括九个主要阶段:1)RGBD采集;2) 二维特征提取;3) 摄像机姿态估计;4) 点云生成;5) 粗网格重建;6) 可选环路闭和检测;7) 精细化网格重建;8) UV展开;9)纹理投影。此端到端方案结合了多种最先进的技术,并为实时三维模型重建和离线纹理映射提供了易于使用的软件包。主要创新在于各种运动结构(SfM)技术,这些技术与其他深度数据一起使用,以实时和低成本生成高质量的3D模型。Open3DGen的功能已在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上验证,验证了设置在不使用脱机后端的情况下,720p(1280×720)RGBD输入的平均处理速度为15 fps,我们的解决方案通过最先进的商业和学术解决方案提供具有竞争力的3D网格质量和运行效率。
主要贡献
表1描述了用于3D数据捕获、重建和纹理映射的最著名的软件框架,它们可以分为摄影测量、SLAM和基于RGB-D的三维扫描方法。
本文提出了一种端到端的三维重建软件Open3DGen,该软件采用SLAM和摄影测量方案的特征,以便从RGB-D图像快速生成精确的真实感纹理三维模型,据我们所知,这是第一个完全开源和跨平台的软件实现,用于1)实时3D网格重建和2)相关离线纹理映射。
图1概述了提出的Open3DGen流程,该流程以模块化和灵活的方式整合了3D捕获过程的所有阶段,所采用的图像处理算法倾向于在文献中进行全面的研究和记录,但它们的实现往往缺乏功能、可用性或许可。这项工作特别涉及这些算法的实现方面,并试图提供一个开放、准确、易于使用的软件包,方便地与消费级RGB-D相机配合使用。
图1:Open3DGen流程的主要处理模块
主要内容
该方案可分为两个主要部分:
1)实时前端用于RGB-D数据捕获和带有顶点颜色的粗略三维模型重建;
2)离线后端用于模型细化和纹理映射,粗网格生成的前五个阶段可以实时完成,以立即向用户提供重建模型的近似值。
图2显示了测试RGB-D图像序列的流程操作
表2列出了所采用算法及其实现的分类
A. Open3DGen:前端
实时前端包括以下五个主要阶段:
1)RGB-D采集;
2) 二维特征提取;
3) 摄像机姿态估计;
4) 点云生成;
5)粗网格重建。
B. Open3DGen:后端
该方法的离线后端由四个阶段组成:1)循环闭合和相机姿势优化;2) 网格重建;3) UV展开, 4)纹理投影。然而,环路闭合和摄像机姿势优化是一个可选模块。
在这四个阶段之间,可以导出生成的点云或三维网格以进行手动处理,手动优化网格拓扑或使用自动化解决方案可以获得更好的结果,然后,可以将编辑的网格重新导入流程中以进行纹理投影,如果深度数据特别嘈杂且具有大量异常值,则在纹理投影之前编辑原始网格或点云数据也很有用。
图3:茶壶的网格三角形拓扑
实验
实验的输入RGB-D图像是用Intel RealSense D435相机拍摄的,基准测试是在配备AMD Ryzen 3900X处理器和Nvidia GTX1080显卡的台式工作站上进行的,操作系统是Ubuntu Linux 20.04。
图4:三个测试场景的重建质量比较 (a) Metashape. (b) Meshroom. (c) Open3DGen.
表3:Metashape、Meshroom和Open3DGen之间的性能比较
总结
本文介绍了一个完全开源的跨平台软件Open3DGen,用于从RGB-D图像重建高质量的纹理三维模型, 提出的Open3DGen流程由用于粗略三维模型重建的实时前端和用于模型细化和纹理映射的离线后端组成,该系统在不同的操作条件下,具有多方面的输入,具有很强的鲁棒性,生成的三维模型可以在各种计算机图形学和其他三维应用程序中使用,Open3DGen的概念验证设置能够在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上以15 fps的平均处理速度从720p RGB-D输入重建粗略的3D模型。结果表明,在处理时间的一小部分内,其质量可与最先进的摄影测量软件媲美或超过该软件,未来,Open3DGen CLI将升级为直观的图形用户界面(GUI),Open3DGen流程的后端将进行实时处理优化,完全实时的Open3DGen软件可用于将下一代交互式和实时应用程序的用户体验提升到更高的沉浸度。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测:MV3D-Net
三维点云分割综述(上)
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)
win下使用QT添加VTK插件实现点云可视化GUI
JSNet:3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看:点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦!
【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔:非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示:
如果你对本文感兴趣,请后台发送“知识星球”获取二维码,务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球,免费下载pdf文档,和更多热爱分享的小伙伴一起交流吧!
以上内容如有错误请留言评论,欢迎指正交流。如有侵权,请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧!期待有想法,乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉,点云,高精地图,自动驾驶,以及机器人等相关的领域。
分享及合作方式:微信“920177957”(需要按要求备注) 联系邮箱:dianyunpcl@163.com,欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
Open3DGen:从RGB-D图像重建纹理3D模型的开源软件相关推荐
- 立创EDA导出3D模型到KiCad软件中
在KiCad软件中有些器件没有3D模型,这时候可以直接从立创EDA导出3D模型,然后将3D模型添加到KiCad软件中. 首先打开立创EDA专业版的网页,网页地址:https://pro.lce ...
- 推荐一款强大的3D家装开源软件
2015年家装o2o着实火了一把.家装涉及到上门量尺,再设计,这个过程是免不了的. 目前基于bs架构的酷家乐,爱福窝等,流行起来就是着力于这点,通过一个点寻找突破口,进入深度挖掘,带动其他家具等产品来 ...
- Unfolder for mac(3D模型展开工具)
Unfolder for mac版是Mac平台上的一款3D模型展开工具,Unfolder Mac可以导入3D模型,然后软件就会根据自己的算法或者通过你的单击2D视图或3D视图中的边缘轻松地拆分和接合面 ...
- 原理图框图_GW1N9芯片测评之GW1N Zero原理图、3D模型及PCB设计(二)
" 国产FPGA 高云半导体GW1N-9芯片测评第二期,我们将完成以高云半导体公司的 GW1N-UV9QN88C6/I5为主芯片的GW1N Zero测评板的原理图设计.3D模型及PCB设计. ...
- 【Web】使用Three.js制作有数据源控制的3D模型动画
懒得写了,大概记录下步骤. 1. 使用开源软件Blender制作3D模型 1.1 Blender Blender类似于3DMax.Maya,是制作3D模型的工具软件,是开源软件,但较难使用,无法制作精 ...
- 3D网格布尔运算开源库
3D网格布尔运算开源库 3D网格布尔运算开源库 网格的布尔运算广泛应用于建筑.医学导航软件.游戏和电影动画等应用场景中,3D模型的编辑软件,3D Max.Maya以及Blender就广泛应用网格的布尔 ...
- 【Unity3D】纹理贴图 ( 纹理 Texture 简介 | 为 3D 模型设置纹理贴图 )
文章目录 一.纹理 Texture 简介 二.为 3D 模型设置纹理贴图 一.纹理 Texture 简介 上一篇博客 [Unity3D]材质 Material ( 材质简介 | 创建材质 | 设置材质 ...
- ZBrush 3D模型皮肤纹理的表现
推荐:将 NSDT场景编辑器 加入你的3D开发工具链 1.细致皱纹表现 ①单击Transform>Activate Symmetry>X[变换>激活对称>X]命令,关闭对称,因 ...
- 火云开发课堂 - 《Shader从入门到精通》系列 第十六节:在Shader中对3D模型使用纹理
<Shader从入门到精通>系列在线课程 优惠链接:http://edu.csdn.net/combo/detail/90 第十一节:在Shader中对3D模型使用纹理 视频地址: htt ...
最新文章
- 【SICP练习】104 练习3.1-3.4
- H3C——BGP联盟配置
- 广域网安全建设的思路和部署
- #include NOIP2009 Junior 细胞分裂 ——using namespace wxl;
- opengl绘制长方体线框_OpenGL绘图实例十之绘制3D机器人
- Centos7 开启端口
- 无线运维——J2ME和WAP运维方式的优缺点
- JQuery Datatables 显示行的附加信息
- 7-250 最长对称子串 (25 分)
- NF、$NF、FR、FNR举例说明
- cacti 安装部署
- ipynb pycharm 运行_Mask RCNN代码之demo.ipynb运行与理解
- 相克军oracle dba视频,相克军 Oracle DBA培训视频教程
- 关于瑞萨RH850中断的异常处理函数地址Exception Handler Address的理解
- 每日英语--Week6
- 主成分分析二级指标权重_因子分析法如何确定主成分及各个指标的权重?
- java unrar.jar下载_unrar.jar解压缩rar文件
- 2021极术通讯-为什么智慧计算如此重要?
- OpenCV - C++ - cv::Scalar
- go拼接字符串不如php,golang 字符串拼接性能的对比分析