自动驾驶：使用 3D 时空卷积网络的自监督点云预测
参考文献：
B. Mersch, X. Chen, J. Behley, and C. Stachniss, “Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks,” in Proc. of the Conf. on Robot Learning (CoRL), 2021
大多数自动驾驶汽车使用 3D 激光扫描仪，即所谓的 LiDAR，来感知周围的 3D 世界。LiDAR 生成汽车周围场景的局部 3D 点云。一个典型的 LiDAR 传感器每秒生成大约 10 个这样的点云。这些 3D 点云广泛用于众多机器人和自动驾驶任务，如定位、物体检测、避障、映射、场景解释和轨迹预测.
预测传感器在未来可能会看到什么的能力可以增强自动驾驶汽车的决策。一个有前途的应用是将预测的点云用于路径规划任务，例如避免碰撞。例如，与预测交通代理未来 3D 边界框的方法相比，点云预测不需要任何先前的推理步骤，例如定位、检测或跟踪来预测未来场景。在预测的点云上运行现成的检测和跟踪系统会产生未来的 3D 对象边界框，正如去年不同研究人员在点云预测中所展示的那样（Weng 等人在 CoRL’20；Lu 等人，通过在 arXiv上发表的文章） . 从机器学习的角度来看，点云预测是一个有趣的问题，因为下一次传入的 LiDAR 扫描总是提供地面实况数据。此属性提供了以自我监督的方式训练点云预测的潜力，无需昂贵的标记，并且还可以在线评估其性能，仅在未知环境中具有很小的时间延迟.
在最近由 Benedikt Mersch 在 CoRL 2021 上展示的工作(https://www.ipb.uni-bonn.de/wp-content/papercite-data/pdf/mersch2021corl.pdf)中，源代码可用**(https://github.com/PRBonn/point-cloud-prediction)**，解决了从给定的过去扫描序列中预测大型无序未来点云的问题.高维和稀疏的 3D 点云数据使点云预测成为一个尚未完全探索的具有挑战性的问题.可以通过将预测的未来场景流应用于最后接收的扫描或生成一组新的未来点来估计未来点云.默施等人专注于生成新的点云来预测未来的场景.与利用循环神经网络来建模时间对应关系的现有方法相比,使用 3D 卷积来联合编码空间和时间信息,以上论文提出的方法采用基于连接范围图像的新 3D 表示作为输入。它联合估计未来范围图像和每个点的分数，以确定多个未来时间步长的有效点或无效点，该方法可以通过使用跳跃连接和使用圆形填充的水平一致性来获取环境的结构细节，并提供比其他最先进的点云预测方法更准确的预测.
这种方法允许使用减少的参数数量来预测不同大小的详细未来点云以进行优化，从而加快训练和推理时间.此外，该方法也是完全自我监督的，不需要对数据进行任何手动标记.总之，该方法可以通过使用时间 3D 卷积网络的快速联合时空点云处理，从给定的输入序列预测一系列详细的未来 3D 点云，优于最先进的点云预测方法，概括很好地适应看不见的环境，并且比典型的旋转 3D LiDAR 传感器帧速率更快地在线运行.
自动驾驶：使用 3D 时空卷积网络的自监督点云预测相关推荐
- 基于三维时空卷积网络的自监督点云预测（CoRL2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 来源丨泡泡机器人SLAM 作者丨泡泡机器人 标题:Self-supervised Point Clou ...
- 自动驾驶 | MINet：嵌入式平台上的实时Lidar点云数据分割算法，速度可达 20-80 FPS！...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现.主要的创新点有两点:一是利用多路分支采用不 ...
- 基于时空图卷积网络的高速列车调度列车延误预测
1. 文章信息 <Train Time Delay Prediction for High-Speed Train Dispatching Based on Spatio-Temporal Gr ...
- iview tooltip自动消失_实现自动驾驶，为什么要对汽车、行人的轨迹进行预测？它与物体检测、追踪和路径规划间的关系是什么？...
本文将分享来自UC Berkeley的工作:基于动态关系推理的多智能体轨迹预测问题. 公众号:将门创投(thejiangmen)作者:加州大学伯克利分校在读博士生 李家琛 卡内基梅隆大学在读硕士生 杨 ...
- 自动驾驶“稳打地基”，小鹏汽车基于阿里云建自动驾驶AI智算中心算力可达600PFLOPS
数据驱动是自动驾驶发展的公认方向,也让自动驾驶模型训练成为一头"吃算力"的巨兽.自动驾驶的视觉检测.轨迹预测与行车规划等算法模型,有赖于机器学习海量数据集,但算力的不足让研发速度仍 ...
- gcn语义分割_ICCV Oral 2019：152层GCN大幅加深图卷积网络的方法，点云分割任务效果显著...
导读:目前常见的图卷积神经网络一般都是3.4层,本文关注的问题是图卷积神经网络GCN/GNN是否也能和一般的卷积神经网络CNN一样加深到50+层而不会有Vanishing Gradient问题,作者提 ...
- 解读：CVPR1903_图卷积网络GCN无监督人脸聚类
Linkage Based Face Clustering via Graph Convolution Network https://arxiv.org/pdf/1903.11306.pdf 1简述 ...
- 使用 YOLOv5 训练自动驾驶目标检测网络
本文会详细介绍YOLO V5的网络结构及组成模块,并使用YOLO V5s在BDD100K自动驾驶数据集上进行迁移学习,搭建属于自己的自动驾驶交通物体对象识别网络. 本文来源:知乎-自动驾驶全栈工程师 ...
- 自动驾驶中的3D物体状态检测
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 摘要 3D物体检测是自动驾驶的一项重要技术,KITTI提供了一种用 ...
最新文章
- 计算机网络与应用周林 课后题,阅读下面文章，完成
- 12c oracle 激活_Oracle 12C 安装教程
- OpecCV颜色分割
- android去除标题栏和状态栏(全屏)
- java版的贪吃蛇。
- Py之pandas：dataframe学习【转载】
- PR软件怎么去视频噪声
- openwrt - transmission
- PCI-E x1/x4/x8/x16四种插槽区别是什么？具体有什么作用？
- 蓝桥ROS机器人之turtlesim贪吃蛇
- 利用PS如何进行精细抠图
- 实现一个打点计时器，要求 1、从 start 到 eThd（包含 start 和 eThd），每隔 100 毫秒 coThsole.log 一个数字，每次数字增幅为 1 2、返回的对象中需要包含一个
- CSR蓝牙4.0与 APT-X高保真音频技术
- （转）FFMPEG 实现 YUV，RGB各种图像原始数据之间的转换（swscale）
- 超越IDM、Xdown的全能文件下载器
- 微信店铺怎么开通【微信开店】
- 交叉火力dsp手机调音软件_济南冠铭改装东风本田CRV音响二次升级丹拿232+交叉火力A6XS数字音频处理器...
- bzoj 1917: [Ctsc2010]星际旅行
- 微机原理有符号数的真值与补码间的转换
- 串′ababaaababaa′的next数组（求next数组思路与实例）