阿里联合学界开源大型3D场景数据集,6813个户型,几何与纹理细节丰富
本文转载自机器之心。
机器之心专栏
机器之心编辑部
源于阿里巴巴淘系的工业生产流程,兼具质量与数量,模型包含丰富的几何与纹理细节,阿里巴巴联合学界开源的场景布局数据集 3D-FRONT 将填补大规模高质量 3D 场景布局数据集空白的现状。
近期,阿里巴巴淘系技术部门的赵斌强、贾荣飞等与西蒙弗雷泽大学的张皓教授以及中科院计算所的高林、张凌霄多方共同合作,在 CVPR 2020 的 Workshop“Learning 3D Generative” 中开源了大型 3D 场景数据集 3D-FRONT(3D Furnished Rooms with layOuts and semaNTics),以填补目前学界在大规模高质量 3D 场景布局数据集上空白的现状。其中,张皓教授是 CVPR 2020“Learning 3D Generative”Workshop 的核心组织者之一。
以下为 3D-FRONT 数据集中一个典型场景数据的漫游视频:
接下来我们来看 3D-FRONT 的技术细节。
3D 场景数据将推动基于 AI 的 3D 应用研究
图 1:三维室内场景研究与应用。
3D 与 2D 场景理解是打造未来 AI 世界所研究的基础核心课题,涵盖机器人室内寻路、线上商城、室内设计等室内场景相关的应用。这些应用的背后涉及到语义分割、物体识别、场景生成等深度学习相关的理论与技术,而这些技术都是需要依赖大量数据来训练相关深度模型从而发挥作用。
因此,高质量的大型 3D 场景数据集对于上述相关研究的推动具有重大意义。
然而,现阶段学术界亟须大规模高质量的 3D 场景数据集以支持和推动数据驱动的智能化 3D 场景的相关研究,特别是具有高质量布局与室内设计的 3D 场景数据集。
目前,相关的数据集有,例如:普林斯顿大学提出的 SUNCG、斯坦福大学提出的 ScanNet、上海科技大学提出的 structured3D 等,但是这些数据集存在场景内容不够丰富,数据规模不够庞大的问题。比如,structured3D 数据集中虽然提供了 3 千多个场景,但是未能提供具有高质量纹理的三维模型数据。
图 2:3D-FRONT 数据采集流程。
阿里巴巴作为世界级的电商互联网巨头,其官方家装家居设计平台 - 躺平设计家积累了海量高质量家居设计方案。
以这些真实家居场景为基础,阿里巴巴淘系技术部结合 3D 人工智能技术初步打造了场景化数字营销,推出了智能设计搭配服务,并创造了大量精美场景布局与设计数据。这些场景数据很好地契合了学术界的需求。
一言以蔽之,3D-FRONT 数据集源于阿里巴巴淘系的工业生产流程,兼具质量与数量。
3D-FRONT 填补学术界 3D 场景布局数据空白
图 3:3D-FRONT 数据集属性。
3D-FRONT 包含 6,813 个真实户型,平均每个户型包含 7 个房间场景,其中 19,775 个房间场景具有人工验证过的精美室内设计信息。每个房间内涉及的家具均来自于阿里巴巴已开源的 3D 模型数据集 3D-FUTURE(3D FUrniture shapes with TextURE),该数据集的模型都包含丰富的几何与纹理细节。
相比于其他 3D 场景数据集,3D-FRONT 在以下指标处于领先地位,包括户型数目、房间场景数目和房间类型等,并且还提供了高质量硬装模型和家具模型。
场景中的 3D 几何模型具有丰富的几何细节与高质量的纹理图,这些几何模型来自于阿里巴巴已开源的 3D 模型库数据集 3D-FUTURE。
图 4:3D-FRONT 与其他场景数据集对比。
目前,3D-FRONT 与 3D-FUTURE 数据集已对外开放并提供下载。
3D-FRONT 数据集主页:https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset
3D-FUTURE 数据集主页:https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future
Learning 3D Generative Models CVPR 2020 Workshop: https://learn3dgen.github.io/
3D-FRONT 数据集贡献者
3D-FRONT数据集的贡献者共有7位,分别是来自阿里巴巴的Huan Fu、Bowen Cai、贾荣飞和赵斌强,中科院计算技术研究所的高林和张凌霄,以及西蒙弗雷泽大学的张皓。
END
备注:3D
三维视觉与三维重建交流群
3D计算机视觉技术、3D重建等技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到
阿里联合学界开源大型3D场景数据集,6813个户型,几何与纹理细节丰富相关推荐
- 阿里巴巴淘系开源大型3D家具数据集(3D-FUTURE)推动3D家居智能研究
出品 | 阿里巴巴新零售淘系技术部&躺平 阿里巴巴淘系技术部与英国伦敦大学伯贝克学院 Steve Maybank 教授(Fellow of the IEEE and a Member of t ...
- 重磅!谷歌开源TensorFlow 3D场景理解库
来源丨机器之心 编辑丨杜伟.陈萍 继 2020 年初 Facebook 开源基于 PyTorch 的 3D 计算机视觉库 PyTorch3D 之后,谷歌也于近日开源了一个基于 TF 框架的高度模块化和 ...
- 继Facebook开源PyTorch3D后,谷歌开源TensorFlow 3D场景理解库
来源:机器之心本文约2000字,建议阅读5分钟谷歌于近日开源了一个基于 TF 框架的高度模块化和高效处理库 TensorFlow 3D. 继 2020 年初 Facebook 开源基于 PyTorch ...
- 15个可交互的真实房屋场景,Silvio/李飞飞组开源大型室内场景的模拟环境iGibson...
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 作者:沈博魁.夏斐.李承澍.Roberto Martín-Martín 转载自:机器之心 在这 ...
- 李飞飞组开源大型室内场景的模拟环境iGibson
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:知乎链接:https://zhuanlan.zhihu.co ...
- 继 Facebook 开源 PyTorch3D 后,谷歌开源 TensorFlow 3D 场景理解库
转自:机器之心 [导语]:继 2020 年初 Facebook 开源基于 PyTorch 的 3D 计算机视觉库 PyTorch3D 之后,谷歌也于近日开源了一个基于 TF 框架的高度模块化和高效处理 ...
- 清华阿里联合发布:一个Few-shot场景的命名实体识别数据集
2021-05-31 15:17:32 作者 | 陈雨琳.丁宁 编辑 | 刘冰一 近来,围绕着 "少样本命名实体识别"(few-shot NER)这一主题,出现了大量的工作和文献. ...
- 今年CVPR,我们填补了3D场景布局数据集空白,并向全世界开源!
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 6月14日,"Learning 3D Generative Model" Work ...
- 3D人体数据集不够用?这不又多了一个,还有基于Transformer的人体捕捉新方案哦...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 基于单目相机的3D人体运动捕捉是近两年的研究热点,但拥有3D人体标注的自然场景下的数据集仍相对缺乏,且 ...
最新文章
- SQLServer中char、varchar、nchar、nvarchar的区别:
- ECCV 2018 | Pixel2Mesh:从单帧RGB图像生成三维网格模型
- PHP调用JS/CSS方法
- 单例模式之双重检查锁(double check locking)的发展历程
- 2017.8.14 文本生成器 失败总结
- java抽象机制_Java很好学:接口+抽象类+事件监听机制
- 少走弯路,给3~5年java程序员的唯一一条建议
- 概念+实战讲解,一文带你了解RFM模型【kaggle项目实战分享】数据分析
- Tomcat+Servlet面试题都在这里
- 网络时间协议 (SNTP)
- 运算放大器单电源设计
- Bagging和Boosting(偏差与方差)
- SPCA5XX摄像头驱动源码分析
- html绘制直角坐标系,几何画板如何画直角坐标系并描点
- Django实现QQ登录
- 论文阅读报告:Feature Selection for Multi-label Classification Using Neighborhood Preservation,Zhiling Cai
- Java并发编程:park线程
- 配置管理是作什么的?
- 《自己动手写框架8》:高屋建瓴,理念先行
- 【微信】h5跳转微信小程序
热门文章
- Sublime Text 2报 Decode error - output not utf-8 错误的解决办法
- GOF之创建型模式(重点)
- poj 1190 生日蛋糕
- java爬去赶集,爬取赶集网二手物品下所有物品的信息
- 如何在不同开发语言中使用绑定变量_linux C/C++服务器后台开发面试题总结(编程语言篇)...
- access 动态 top 条件_2020年10月抖音直播营销报告_行业动态
- c语言甘勇第二版第五章答案,C语言(1) - Patata的个人页面 - OSCHINA - 中文开源技术交流社区...
- php学生分班,学生分班工具下载
- slope one matlab代码,经典推荐算法之 Slope one
- Ubuntu安装常用软件