Google Scanned Objects: A High-Quality Dataset of 3D Scanned Household Items

本文主要是3D视觉数据集的创建，包括讲述该数据集的优点、缺点、运用场景模型，以及数据采集方法的相应描述

论文连接

问题解决

在目前的3D深度学习和机器人视觉中，需要很多的数据集进行相应的模型进行训练预测，本文运用谷歌扫描物体模型（Google Scanned Objects），通过本模型即可将多张照片组合为扫描物体，生成的数据集我们也称为GSO dataset，在模型nteractive Gibson benchmark模型强化训练时，运用的就是GSO dataset
提高数据集的丰富性，多样性，规范性
如何从2D图片转换为立体模型结构
目前自动生成的3D建模软件程序无法很好的还原实际物体

论文

1. 3D模型所要运用的一些场景

上图描述了一些pattern过程，图a为通过2D图片进行校准；图b为电脑生成3D扫描物体；图c为通过相应的pattern能够使检测的位置方位达到亚像素级别的精度；图d主要是对3D物体进行HDR（高动态范围成像的目的就是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度）和gray-codes不同的操作下的图片，这两个方法都与光线角度照射方向有关

上图主要是3D数据集的质量问题说明，图a为流体闭合问题；图b为网格状物体数据质量较差

2. 3D网络模型的需求：

1）efficient physical scanning setups 高效物理扫描
2）target lighting 物体照明环境
3）camera reliability 摄像头可靠性
4）scanner performance 扫描仪能力
5）color matching 色调
6）texture rendering 纹理绘制
7）dealing with optically uncooperative materials 光学无法适配的物体

整体模型的流程描述 pipeline

#mermaid-svg-btSCWuJ9wTtp97ss {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-btSCWuJ9wTtp97ss .error-icon{fill:#552222;}#mermaid-svg-btSCWuJ9wTtp97ss .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-btSCWuJ9wTtp97ss .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-btSCWuJ9wTtp97ss .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-btSCWuJ9wTtp97ss .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-btSCWuJ9wTtp97ss .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-btSCWuJ9wTtp97ss .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-btSCWuJ9wTtp97ss .marker{fill:#333333;stroke:#333333;}#mermaid-svg-btSCWuJ9wTtp97ss .marker.cross{stroke:#333333;}#mermaid-svg-btSCWuJ9wTtp97ss svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-btSCWuJ9wTtp97ss .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-btSCWuJ9wTtp97ss .cluster-label text{fill:#333;}#mermaid-svg-btSCWuJ9wTtp97ss .cluster-label span{color:#333;}#mermaid-svg-btSCWuJ9wTtp97ss .label text,#mermaid-svg-btSCWuJ9wTtp97ss span{fill:#333;color:#333;}#mermaid-svg-btSCWuJ9wTtp97ss .node rect,#mermaid-svg-btSCWuJ9wTtp97ss .node circle,#mermaid-svg-btSCWuJ9wTtp97ss .node ellipse,#mermaid-svg-btSCWuJ9wTtp97ss .node polygon,#mermaid-svg-btSCWuJ9wTtp97ss .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-btSCWuJ9wTtp97ss .node .label{text-align:center;}#mermaid-svg-btSCWuJ9wTtp97ss .node.clickable{cursor:pointer;}#mermaid-svg-btSCWuJ9wTtp97ss .arrowheadPath{fill:#333333;}#mermaid-svg-btSCWuJ9wTtp97ss .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-btSCWuJ9wTtp97ss .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-btSCWuJ9wTtp97ss .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-btSCWuJ9wTtp97ss .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-btSCWuJ9wTtp97ss .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-btSCWuJ9wTtp97ss .cluster text{fill:#333;}#mermaid-svg-btSCWuJ9wTtp97ss .cluster span{color:#333;}#mermaid-svg-btSCWuJ9wTtp97ss div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-btSCWuJ9wTtp97ss :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}

图片
Camera Images & Projector Patterns

投影仪与摄像头同步
Projector-Camera Synchronization

HDR图像重建
HDR Image Reconstruction

条纹中心查找和标记
Stripe Center Finding & Labeling

水平垂直条纹变换
Horizontal-Vertical Stripe Intersection

亚像素相机坐标
Sub-Pixel Camera Coordinates

多个相机亚像素坐标
Stereo Sub-Pixel Camera Coords

近交点
Multi-Ray Near Intersections

网络生成
Mesh Generation

原始网络扫描
Raw Scan Meshes

网格对齐
Mesh Alignment

对齐网格
Aligned Mesh

网格合并
Mesh Merging

网格融合
Mesh Decimation

整体模型数据采集方式：camera + projector + camera (texture camera) --> cenrtal computer

3. 数据集概述

1030个扫描物体，共有13Gb