全球最大的3D数据集公开了！标记好的10800张全景图

你一定不想错过这个全球较大的公开3D数据集。

本文作者为Matt Bell，是3D扫描解决方案提供商Matterport的联合创始人、首席战略官。在本文中，Bell亲述Matterport公开的这个数据集细节，我们随他去看看。

一路走来，Matterport见证了3D数据集在深度学习多领域的巨大力量。我们在这个领域研究了很久，希望将一部分数据分享给研究者使用。令人兴奋的是，斯坦福、普林斯顿、TUM等的研究人员联手给大量的空间打了些标签，并将标记数据以Matterport 3D数据集的形式公开出来。

这是目前世界上较大的3D公开数据集，其中的标注意义重大。

像ImageNet、COCO这种比较大的2D数据集创建于2010年左右，是高精2D图像分类系统工具。我们希望Matterport这种3D+2D的数据集也能提升AI系统的认知力、理解力，带动3D研究的发展。

Matterport的行业影响力巨大，从增强现实、机器人技术、3D重构到更好地理解3D图像，我们一直在推进。

数据集“魔盒”

数据集中包含了10800张尺寸相同的全景图（RGB+深度图像），这些图片是从90个建筑场景的194400张RGB色彩模式的深度图像中挑选出来的，图像均用Matterport的Pro 3D相机拍摄。

这些场景的3D模型已经用实例级对象分割做了标记，你可以在 https://matterport.com/gallery 网站中交互式探索不同的Matterport 3D重建模型。

几种不同的解锁姿势

很高兴地告诉大家，这个数据集非常实用。下面我将介绍Matterport研究的几个方向。

目前，我们内部用这个数据集做过这样一个系统，将用户拍摄的照片分割成房间，并将其分类。这个系统的表现不错，甚至在没有门或隔断隔开情况下，也能分辨出不同的房间类型（例如厨房和餐厅）。

此外，我们也在学习用深度学习方法填充3D传感器够不到的区域。这方便了用户快速拍摄广阔的开放空间，如仓库、购物中心、商业地产、工厂和新类型的房间等。

不妨看一个简单的示例。在这个例子中，我们的算法通过颜色和局部深度，预测深度值和深度传感器的表面方向(法向量)。由于这些区域太远，无法被深度传感器探测到。

其实，我们还能用它在用户拍摄的空间中划分出不同对象。与现在3D模型不同的是，这些完全分割的模型能较精确识别空间中的物体。这样就解锁了很多使用姿势，包括自动生成含有空间内容和特征的详细列表，并自动看到不同家具在空间中的样子。

我们还有个小目标，比如让任何空间能够被索引、搜索、排序和理解，让用户找到想要的东西。

比如，你想找到个地方度假，你希望那里有三间大卧室，配备着现代化厨房，客厅内还有内置的壁炉，在阳台上能看到下面的池塘风景，还有一扇落地窗？我们可以做到。

比如，你想盘点办公室里所有家具，想比较建筑工地上的管道和CAD模型是否一致？也so easy。

论文中还展示了一系列其他用例，包括通过深度学习的特性提高特征匹配、二维图像的表面法向量估计，以及识别基于体素模型的架构特征和对象等。

我们的下一步

正如上面所说，你可以使用这些数据、代码和论文，我们很愿意听听大家是如何使用它们的，也很期待与研究机构合作开展一些项目。

如果你对3D和更大的数据集感兴趣，也欢迎加入我们，感谢参与项目的所有人。

最后，附数据集地址：

https://niessner.github.io/Matterport/

Code地址：

https://github.com/niessner/Matterport

论文下载地址：

https://arxiv.org/pdf/1709.06158.pdf

欢迎来到3D世界！

全球最大的3D数据集公开了！标记好的10800张全景图相关推荐

全球最大的3D数据集公开了！标记好的10800张全景图 | 附论文
本文来自AI新媒体量子位(QbitAI) 你一定不想错过这个全球最大的公开3D数据集. 本文作者为Matt Bell,是3D扫描解决方案提供商Matterport的联合创始人.首席战略官.在本文中,B ...
谷歌AI发布“会动的”3D物体数据集，附带标记边界框、相机位姿、稀疏点云，网友：快给我的AR模型用上...
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 见过3D物体数据集,见过会动的3D物体数据集吗? 每段动态视频都以目标为中心拍摄,不仅自带标注整体的边界框,每个视频还附带相机位姿和稀疏点云 ...
超2000万图片，全球最大人眼图像数据集开源了
本文转自机器之心. 作者:杜伟涵盖 2D 和 3D 特征点.语义分割.3D 眼球注释以及注视向量和眼动类型等因素,德国图宾根大学的研究者创建了全球最大的人眼图像公开数据集--TEyeD. 在当今世界 ...
全球及中国3D打印产业投资价值调研及未来竞争趋势研究报告2021-2027年版
全球及中国3D打印产业投资价值调研及未来竞争趋势研究报告2021-2027年版 HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS-- ...
全球第二款3D打印药物！三迭纪产品获美国FDA新药临床试验批准
中国南京--(美国商业资讯)--近日,南京三迭纪医药科技有限公司(简称"三迭纪")宣布,公司首个3D打印药物产品T19获得美国FDA的临床试验批准(IND).该产品是已知公开的全球 ...
疲劳驾驶样本集_谷歌AI最新3D数据集，1.5万张动图，让AR主宰你的生活
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 见过3D物体数据集,见过会动的3D物体数据集吗? 每段动态视频都以目标为中心拍摄,不仅自带标注整体的边界框,每个视频还附带相机位姿和稀疏点云 ...
2021-2027全球与中国3D产品可视化平台市场现状及未来发展趋势
本文研究全球及中国市场3D产品可视化平台现状及未来发展趋势,侧重分析全球及中国市场的主要企业,同时对比北美.欧洲.日本.中国.东南亚.印度等地区的现状及未来发展趋势. 2019年全球3D产品可视化平台 ...
全球与中国3D打印骨科植入物市场深度研究分析报告
[报告篇幅]:94 [报告图表数]:138 [报告出版时间]:2021年12月报告摘要 2021年全球3D打印骨科植入物市场销售额达到了17亿美元,预计2028年将达到50亿美元,年复合增长率(CA ...
全球与中国3D透视导航技术市场现状及未来发展趋势（2022）
本文研究全球及中国市场3D透视导航技术现状及未来发展趋势,侧重分析全球及中国市场的主要企业,同时对比北美.欧洲.中国.日本.东南亚和印度等地区的现状及未来发展趋势. 根据QYR(恒州博智)的统计及预测 ...

全球最大的3D数据集公开了！标记好的10800张全景图

全球最大的3D数据集公开了！标记好的10800张全景图相关推荐

最新文章

热门文章