这个CV数据集生成器火了,支持13类复杂CV任务,DeepMind谷歌MIT等打造丨开源
来源:量子位
这年头,AI玩家们想找到合适的图像数据集,简直是越来越难了。
不仅数据质量参差不齐,合适的数据类型也难找(如光流图、深度图等)。
为了解决这些问题,来自谷歌、MIT、DeepMind、MILA和剑桥大学等11家机构的34名研究人员,联手打造了一个名叫Kubric的数据集生成器,不仅能自己渲染,而且图像效果也非常真实。
不仅各种图像数据都能做,像语义分割、深度图或光流图这种“特殊数据”都能一键生成:
还能控制渲染的真实度,渲染出的视频可以达到以假乱真的效果:
据作者们表示,目前Kubric支持13类CV任务的数据类型生成,效果也不比用已有数据集训练出来的差。
这样的一个数据集生成器,到底要怎么上手?
可生成13类CV任务所需数据
先来看看这个Kubric数据集生成器究竟是个啥。
简单来说,它有点像是一个专为图像AI打造的“数据车间”,基于跨平台开源物理引擎PyBullet和3D图像渲染软件Blender打造。
其中,PyBullet给用户提供了一个模拟3D物体运动的平台,例如两个球之间的弹性碰撞参数就可以用它来模拟。(当然,除了PyBullet以外,也可以扩展到其他物理引擎如MuJoCo上)
Blender则是一个渲染3D动画的平台,但它的优势在于操作方便,而且既可以做出照片级逼真的渲染图像,也可以输出3D动画效果。(例如有设计师拿它设计服装纹理)
可能这时候你会问,Kubric相比自己手动渲染视频或图像数据集,方便在哪?
一方面,Kubric自带一系列预处理的基础图像数据库。
除了11个基础3D模型以外:
还内置了Google Scanned Objects(GSO)室内家具物品数据集中的一系列模型,以及包含背景、光照、材料纹理等参数的Polyhaven数据集,还有ShapeNet数据集等(包含55种常见的物品类型及51300个3D模型)。
也就是说,如果你对渲染不太了解,也能利用内置的数据库快速生成想要的图像。
另一方面,Kubric直接提供了从“渲染数据”到输出“AI训练数据”的管道,省去了将渲染图像转成特殊数据(如深度图、光流图)、或是额外收集如视场、相机参数、光照等数据的麻烦。
这也使得Kubric支持生成13类CV任务所需的图像数据,具体包括光流、NeRF、姿态估计、3D重建等。
没错,即使这些生成的图像中有2D也有3D类型,需要的数据量也从MB到TB级别不等,但Kubric都能满足。
嗯,作者们还专门针对各种视觉任务,用Kubric生成的数据集一个个试了试,强调“用他们生成的数据集效果更好”。
△Kubric生成的光流图
那么,这样的数据集生成器究竟要怎么用呢?
自带Python接口
作者提供了一些简单的操作流程。
在安装之后,第一步就是创建默认场景:
然后,再通过这两步,分别创建一块地板、和一个球体(也可以换成其他形状):
接下来就是在场景中加一个照明,以及渲染摄像头采集图像:
导出文件后,就能获取一个3D球体的图像了:
△Blender中的效果
如果需要深度图、灰度图等特殊图层的话,也是几行代码就能搞定:
比自己手动导出要更方便一些:
当然,如果还是感觉上手较难,作者也直接提供了示例代码,改改参数就能用:
在原基础上,再加5行代码就能直接运行出动态视频版:
看起来,做完数据集后,即使不懂渲染的也能成为半个行家了(doge)
目前新的一批内置数据集还在施工中,感兴趣的小伙伴可以先上手试玩~
项目地址:
https://github.com/google-research/kubric
论文地址:
https://arxiv.org/abs/2203.03570
参考链接:
https://twitter.com/taiyasaki/status/1501288630697877504
技术交流群邀请函
△长按添加小助手
即可申请加入深度学习、计算机视觉等技术交流群
这个CV数据集生成器火了,支持13类复杂CV任务,DeepMind谷歌MIT等打造丨开源相关推荐
- 【CV实战】年轻人的第一个深度学习CV项目应该是什么样的?(支持13大深度学习开源框架)...
计算机视觉发展至今,许多技术已经非常成熟了,在各行各业落地业务非常多,因此不断的有新同学入行.本次我们就来介绍,对于新手来说,如何做一个最合适的项目.本次讲述一个完整的工业级别图像分类项目的标准流程, ...
- CV:计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念)、早期/中期/近期应用领域(偏具体应用)、经典CNN架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装、常用数据集、编程技巧
CV:计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念).早期/中期/近期应用领域(偏具体应用).经典CNN架构(偏具体算法)概述.常用工具/库/框架/产品.环境安装.常用数据集.编程技巧 ...
- 【今日CV 视觉论文速览】 13 Feb 2019
今日CS.CV计算机视觉论文速览 Wed, 13 Feb 2019 Totally 26 papers Interesting: 基于自编码器和隐空间编码的图像生成,通过直接估计隐变量的分布来利用自编 ...
- 【图像-关键点json标签】的数据集生成器
利用opencv图像处理库制作[图像-关键点json标签]的数据集生成器 背景:关于读取json文件的方法 1. 数据 数据目录: – /keypoints_pose/ –/train_img/ –/ ...
- yield数据集生成器用法学习
方法一,简单yield方法. 假如我都数据集是一个列表[0,1,2,3,4,5,6,7,8,9]. 需求: 打乱顺序,相当于随机取数. 一轮取完,重新打乱顺序,继续取数.无穷无尽. def test_ ...
- android 21什么手机,Android 10 Q Beta 3上线:支持13个品牌21款手机
IT之家5月8日消息 今天早些时候在I/O大会上,谷歌介绍了Android 10 Q中面向消费者的新功能,这些功能将于夏末完成并发布给Pixel设备.现在,谷歌已经推出了该系统的第三个beta版本,并 ...
- 【最强最全车牌识别算法】支持13种中文车牌识别的云端API部署(可直接获取源码使用)
项目简介 在城市交通管理.视频监控.车辆识别和停车场管理中车辆检测与车牌识别是一项富有挑战而重要的任务.利用深度学习识别不同条件下的车辆及其车牌信息.更具体地说,实时目标检测网络(Yolov5)用于从 ...
- Racket编程指南——13 类和对象
13 类和对象 本章基于一篇论文[Flatt06]. 一个类(class)表达式表示一类值,就像一个lambda表达式一样: (class superclass-expr decl-or-expr . ...
- 命名空间_python基础 13 类命名空间于对象、实例的命名空间,组合方法
python基础 13 类命名空间于对象.实例的命名空间,组合方法 1.类命名空间于对象.实例的命名空间 创建一个类就会创建一个类的名称空间,用来存储类中定义的所有名字,这些名字称为类的属性 而类有两 ...
最新文章
- 常用分类算法的优缺点
- windows phone (26) ApplicationBar应用程序栏
- 深度学习100例-卷积神经网络(CNN)彩色图片分类 | 第2天
- Commit Monitor–svn监控工具
- IDataRowPersistable
- python修改excel内容怎么覆盖_Python修改Excel的内容,python,excel
- 软件测试算是后端吗,软件测试--前后端数据交互
- php mysql 简单聊天室_PHP实现最简单的聊天室应用
- linux下敏感文件(账号密码)查找—内网渗透linux主机密码收集
- php ping 域名,怎么利用PHP去ping一个地址_PHP
- 19、L298N 电机驱动板
- CG-多边形扫描线填充算法详解
- Solidworks2017安装遇到问题:前一个安装中的Windows重启操作正在等待处理。
- 微信小程序 支付回调不成功排查步骤
- 下一个10年,可能改变世界的5项重大发现!真正革命性的进步
- mapbox pbf vt2geojson 解析pbf图层为geojson格式
- 中国无管道通风柜市场趋势报告、技术动态创新及市场预测
- 20201104CSP提高组训练
- autojs教程:一起来养猪app脚本代码
- visualSVN Server的下载和安装