文章：Toronto-3D: A Large-scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways

作者：Weikai Tan1 , Nannan Qin1,2, Lingfei Ma1 , Ying Li1 , Jing Du3 , Guorong Cai3 , Ke Yang4 , Jonathan Li1,4* 1Department of Geography and Environmental Management

代码：https://github.com/WeikaiTan/Toronto-3D

编译：点云PCL

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

大规模室外点云的语义分割对于城市场景理解具有重要意义，尤其是在自动驾驶和城市高精地图中。随着移动激光扫描（MLS）系统的快速发展，大量的点云可以用于场景理解，但是对于开发基于深度学习的方法来说，公开的大规模标记数据集仍然是有限的。本文介绍了加拿大多伦多MLS系统获取的用于语义分割的大型城市室外点云数据集Toronto-3D。这个数据集覆盖了大约1公里的点云，由大约7830万个点和8个标记的对象类组成。实验结果表明，该数据集能够有效地训练深度学习模型。Toronto-3D发布是为了鼓励新的研究，标签将根据研究社区的反馈进行改进和更新。

主要贡献

本文介绍了一个由MLS系统采集的大型城市室外点云数据集Toronto-3D。这个数据集覆盖了1公里的街道，由大约7830万个点组成。该数据集的一个样本如图1所示。

本文的主要贡献是：

•提出了一个大规模的按点云标注的城市室外点云数据集用于语义分割，

•研究了一个用于点云语义分割的集成网络，

•对提出的数据集上应用最先进的深度学习语义分割方法进行广泛比较。

图1.数据集的一部分。顶部：具有自然颜色（RGB）的数据集。底部：类标签

表1显示了综合指标与之前的数据集的对比结果

主要内容

Toronto-3D

该数据集中的点云是通过车载MLS系统Teledyne Optech Maverick2获得的。该系统由32线激光雷达传感器、ladybug5全景相机、GNSS系统和同步定位与建图（SLAM）系统组成。该激光雷达传感器可以捕捉点云在高达700000点每秒在垂直视野覆盖-10◦ 至+30◦ , 精度优于3厘米。利用LMS-Pro3软件对采集到的点云进行进一步处理。该数据集收集于加拿大多伦多的Avenue Road，覆盖约1km路段，约7830万个点。该数据集分为四个部分，每个部分覆盖的范围约为250米。图2中示出了每个部分的近似边界的概述。

图2.数据集概述。上图：数据集中每个部分的大致边界（来自Google地图的卫星图像）。底部：标签概述（每个类有不同的颜色）。

与以前的数据集类似，定义了对象类标签具体如下：
•道路（标签1）：铺砌路面，包括人行道、路缘、停车场
•道路标记（标签2）：路面标记，包括行驶路线、箭头、人行横道
•天然树木（标签3）：树木、灌木，不包括草还有裸露的土壤
•建筑物（标签4）：低层和多层的任何部分建筑物、店面
•公用线路（标签5）：电力线、电信
•电线杆（标签6）：电线杆、交通标志、灯柱
•汽车（标签7）：在道路上行驶的汽车和停放的汽车侧面和停车场
•围栏（标签8）：垂直屏障，包括木制建筑工地的围墙
•未分类（标签0）

在该数据集中各个标签的统计如表2

使用Toronto-3D的语义分割方法的结果如表3所示。

KPFCNN和MS TGNet语义分割结果的直观比较如图4所示。

图4.语义分割结果的视觉比较

总结

本文介绍了一个由MLS系统采集的大型城市室外点云数据集Toronto-3D。数据集覆盖了加拿大多伦多约1公里的道路，超过7800万个点。所有点云数据都保留在数据收集范围内，以类似于实际应用场景。该数据集被手动标记为8个类别，包括道路、道路标记、自然树木、建筑、公用线路、电线杆、汽车和围栏。五个最先进的端到端点云语义分割算法和一个名为MS-TGNet的网络被测试为这个数据集的基准。所提出的MS-TGNet能够产生与最新方法相比较的性能，在新的数据集中实现最高的mIoU（60.96%）和有竞争力的OA（91.69%）。Toronto-3D数据集提供了新的类标签，包括道路标线、公用事业线和围栏，所有测试过的语义分割方法都需要改进道路标线和围栏。展示这个新的点云数据集的目的是鼓励开发创造性的深度学习模型。这个新数据集的标签将根据研究界的反馈加以改进和更新。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

往期线上分享录播汇总

第一期B站录播之三维模型检索技术

第二期B站录播之深度学习在3D场景中的应用

第三期B站录播之CMake进阶学习

第四期B站录播之点云物体及六自由度姿态估计

第五期B站录播之点云深度学习语义分割拓展

第六期B站录播之Pointnetlk解读

[线上分享录播]点云配准概述及其在激光SLAM中的应用

[线上分享录播]cloudcompare插件开发

[线上分享录播]基于点云数据的 Mesh重建与处理

[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享

[线上分享录播]地面点云配准与机载点云航带平差

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶