室内全景图数据集的设计及制作流程

全景图数据集制作概述

公开数据集存在问题
PanoSU数据集简介
全景图收集与标注
- 全景图收集
- 全景图标注
PanoAnnotatorV2简介

公开数据集存在问题

HorizonNet 论文中用到的公开数据集存在以下问题。将问题大致分为以下三类。

全景图收集时相机高度有误，或者不满足曼哈顿假设即墙体之间不垂直。
全景图是L 型房间甚至是 T 型房间但是标注成了立方体房间。
全景图标注有误差，大部分修正时间花费在标注误差修正。

修正数据在 horizonNet 模型下训练准确度得到了提升。此外，还有一些全景图是楼梯过道，它们并不属于房间一类且墙体边缘线难以确定。
如下图，图一的问题为相机高度过低，图二、三的问题为不满足室内曼哈顿布局假设。此外，该数据集混合了不同环境下的室内全景图，不仅包含会议室、办公室、杂货间等非家居空间，而且包含难以识别的楼梯过道。墙体边缘标注准确度同样存在一定的误差。为此提出了PanoSU数据集，它基于PanoAnnotatorV2标注了室内墙体边缘，有效减少了误差。而且它只包含7个室内类别，专注于家居环境下的墙体边缘识别。

PanoSU数据集简介

从虚拟 SketchUp 模型中收集室内家装全景图数据, 并用 PanoAnnotatorV2 进行墙体布局标注, 简称 PanoSU 数据集. 它包括 591 张全景图和对应的文本标签, 且对每张图像进行人工类别分类。其它空间包含了储物间、衣帽间、玄关、过道、洗手台、入户花园、电梯间、前室、门厅类别. 为了训练方便我们将 PanoSU 数据集分为三个部分。第一部分有 197 张图, 训练集有 176 张预测集有 19 张. 虚拟的 SketchUp模型来自欧神诺公司,模型是由专业的室内 CAD 设计师完成的. 通过虚拟的模型获取的全景图, 不仅避免了实地拍取全景图, 而且虚拟的 SketchUp 模型具有一定的可扩展性, 即对模型稍加修改就可以生成一张全新的室内家装全景图。如下图，为一个SU模型收集到的室内全景图，并以房间类型+唯一ID命名。

全景图收集与标注

全景图收集

将SU模型逐一导入到 lumion 景观渲染软件中，对每个模型的每个房间都拍取全景图，并严格的以房间类型加上序号的形式命名图像。Lumion是景观渲染软件，它能将设计好的 CAD 草图进行渲染，并且能够生成 VR，软件中有的全景相机拍照功能，并且能够将相机的高度固定在 1.6m 的高度。这种方式采集全景图简单高效，它仅依赖于丰富的 SKup 素材，不需要专业的人带着全景相机及支架到每个房间去拍取全景图像。

全景图标注

将收集到的室内全景图用PanoAnnotatorV2进行处理。首先进行全景图预处理，将图像对齐。如果没有进行这一步将会导致软件运行不了！！室内全景图墙体标注方法详见我的博客。半自动室内整体布局标注系统（上）

PanoAnnotatorV2简介

图像语义分割的标注工具有很多，常用的有 labelImg、LabelMestyle、visim 、PanoAnnotator、planner5D。这些都是 RBG 图像人工标注时所使用到的工具，它们的适用场景也不一样，例如 LabelMestyle 它的风格是有 3D 线框的，将每个物体用了一个立方体框住。而 PanoAnnotator 工具专注于房间布局的标注，引入了一些传统布局识别算法，称它为半自动标注工具。若只专注于房间布局标注来说PanoAnnotator 工具显然要快很多。也有人提出了一些自动的标注算法，它是基于 RGB-D图像的。拥有景深的 RGB 图像可以用算法很容易的算出来，但也不乏出现一些问题。那么对于不带景深图像的数据，使用 PanoAnnotator 来标注是比较合适的。但它有许多缺点，我们在它的基础之上改进了，使得它在房间布局标注任务中表现出色，熟练的标注一个房间仅需要 30s，而传统的 labelImg 则需要几分钟。
此外，PanoAnnotatorV2 增加了全景图俯视、仰视视角，并且在标注时可以很准确的看出墙体边缘的线框的标注情况，为标注准确性起到一定的辅助作用。针对部分数据在采集时环境的影响，我们还增加了调整图像亮度、对比度等功能，目的是让墙体线清晰可见，增加标注的准确性。此外我们还增加了模型 3D 可视化，目的是将标注结果整体可视化。为了提高标注的速度，工具在数据标签的加载和系统架构的两个方面做出调整。首先删除了TensorFlow 深度学习部分保留传统算法的校正功能，因为深度学习部分模型复杂庞大，一般只需要人工标注，追求高速，深度学习对于电脑的 GPU要求较高。其次，工具优化了图像标签数据的加载，再标注文件中增加了墙体、相机高度，目的是在加载时不需要根据墙角数据进行重复计算提高运行速度。

## 资源链接

室内全景图整体布局标注工具（python语言）
PanoSU数据集（第一部分）