3D视觉感知新SOTA BEVFormer复现nuscenes数据集测试demo

0 写在前面

分享最近在BEV感知方面的工作，欢迎自动驾驶同行交流学习，助力自动驾驶早日落地。

1.概述

对于自动驾驶而言，BEV（鸟瞰图）下的目标检测是一项十分重要的任务。尽管这项任务已经吸引了大量的研究投入，但灵活处理自动驾驶车辆上安装的任意相机配置（单个或多个摄像头），仍旧是一个不小的挑战。

为此提出BEVFormer，利用了Transformer强大的特征提取能力以及Timestamp结构的时序特征的查询映射能力，在时间维度和空间维度对两个模态的特征信息进行聚合，增强整体感知系统的检测效果。

论文连接：https://arxiv.org/pdf/2203.17270v1.pdf

代码链接：GitHub - zhiqi-li/BEVFormer

关于BEVFormer

BEVFormer通过预定义的网格状BEV查询，将时间和空间进行交互，从而挖掘空间和时间信息。为了聚合空间信息，我们设计了一个空间交叉注意（ spatial cross-attention），每个BEV查询都从摄像机视图的感兴趣区域提取空间特征。对于时间信息，我们提出了一种时间自我注意（ temporal self-attentio），以反复融合历史BEV信息。在nuScenes数据集上，NDS评估值指标达到了SOTA : 56.9%，比之前基于激光雷达的SOTA方法性能高9个点。我们进一步表明，BEVFormer显著提高了低能见度条件下目标速度估计和调用的精度。

图1

2.结构框架

图2

BEVFormer的编码层包含网格状的BEV查询、时间自我注意和空间交叉注意。

在空间交叉注意中，每个BEV查询只与感兴趣区域的图像特征交互。

在时间自注意力中，每个BEV查询都与两个功能交互：当前时间戳的BEV查询和前一个时间戳的BEV功能。

3.配置环境详细参考源码，这里不一一阐述，在这里分享我配置过程中的问题及解决方法

报错：No module named 'tools' 分析：绝对路径没有识别到
解决：export PYTHONPATH=${PYTHONPATH}:/home/mnt/mmdetection3d/BEVFormer/tools
source ~/.profile

在终端执行：python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0 --canbus ./data

若生成下图所示结果表明数据处理正确

4.实验结果，demo展示

nuScense包含1000个，每个约20s的数据，标注2Hz，每个样本包含6个摄像机具有360度的水平场景。对于目标检测任务有标注了1.4M个3D框，共包含10个类别。5种评价标准：ATE, ASE, AEO, AVE, AAE，另外，nuScense还提出了NDS来计算综合评分。

BEV特征能够被用于3D目标检测和地图语义分割任务上。常用的2D检测网络，都可以通过很小的修改迁移到3D检测上。实验验证了使用相同的BEV特征同时支持3D目标检测和地图语义分割，实验表明多任务学习能够提升在3D检测上的效果。

连续帧的视频demo：

3D视觉感知新SOTA BEVFormer复现nuscenes数据集测试demo_哔哩哔哩_bilibili3D视觉感知新SOTA BEVFormer复现nuscenes数据集测试demo, 视频播放量 1、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者小张做CV, 作者简介一个做自动驾驶感知的码农，独角兽实习生，相关视频：讲师亲授！《深度学习实战》课纲解读与学习指导，0基础直达论文发水平，就业&毕设&竞赛一步到位！，终于找到了！这绝对是全B站最详细（没有之一）OpenCV入门到精通全套视频，整整150集（建议收藏慢慢看），最全！Transformer最新顶会论文100篇合集，语义SLAM（ORBSLAM2+FCAF3D），震撼！AI自动写程序，CVPR2022车道线检测SOTA工作CLRNet在Tusimple数据集训练测试demo，助力自动驾驶早日落地，【YOLO目标检测】不愧是清华教授，3小时就把导师三年没让我搞明白的YOLOv7/v6/v5/v4/v3/v2/v1讲明白了！简直让我茅塞顿开！，ChatGPT VScode 插件已上线。，ECCV2022 SimpleRecon 无需 3D 卷积的高质量三维重建方案，终于找到了！这绝对是全B站最详细（没有之一）OpenCV入门到精通全套视频，整整130集（建议收藏慢慢看）https://www.bilibili.com/video/BV16P411K7rp/

写在最后：由于我的设施有限，训练数据有所减少，推荐大家最好在8个GPU上训练

回答：从视觉算法的角度来说，识别物体是否存在更多是语义层面的问题，这一过程依赖于训练数据，必然存在漏检、误检等错误。而通过 LiDAR 等设备从物理层面上识别物体的存在则更为可靠。此外，多尺度、小物体检测等视觉算法中存在的传统问题也会制约系统的性能。

具体流程大家可通过bilibili评论区询问，我会在评论区给大家解答，更多优质资料分享可通过本人CSDN公主号，大家关注后留言即可

3D视觉感知新SOTA BEVFormer复现nuscenes数据集测试demo相关推荐

重磅！第二届国际3D视觉感知与应用大会（IS3DVPA2023）
2023年6月16-18日天津大会官网:(阅读原文) https://b2b.csoe.org.cn/meeting/IS3DVPA2021.html 会议报名请扫码←注册注册费:2805元/人 ...
30～60k | 小鹏汽车3D视觉感知工程师/专家招聘（社招）
3D视觉工坊致力于推荐最棒的工作机会,精准地为其找到最佳求职者,做连接优质企业和优质人才的桥梁.如果你需要我们帮助你发布实习或全职岗位,请添加微信号「CV_LAB」. 公司简介通过数据驱动智能电动汽 ...
3D视觉感知市场规模现状及行业发展前景分析
2022-06-16 3D视觉感知技术最早应用于工业领域,主要用于工业设备与零部件的高精度三维测量以及物体.材料的微小形变测量等.随着相关技术的持续发展,3D视觉感知技术逐渐从工业领域向消费级领域推广 ...
自动驾驶感知算法实战3——自动驾驶2D和3D视觉感知算法概述
自动驾驶感知算法实战专栏:https://blog.csdn.net/charmve/category_12097938.html 目录导读一.2D视觉感知 1. 目标检测 1.1 两阶段检测 1 ...
纯视觉3D目标检测新SOTA！STS：基于Camera的深度估计新方法
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心技术交流群后台回复[领域综述]获取自动驾驶全栈近80篇综述论文! 论文链接:https ...
强化学习与3D视觉结合新突破：高效能在线码垛机器人
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达转自 | 机器之心国防科技大学.克莱姆森大学和视比特机器人的研究 ...
辰视将携3D视觉新技术新产品参加2021广东工博会暨广东自动化展
2021广东机床.广东自动化展(简称:"广东(佛山)工博会")将于2021年9月23-26日在佛山潭洲国际会展中心举办,目前已经入开展倒计时阶段,还有8天的时间将迎来一场工业科技盛 ...
奥比中光3D视觉AI开放平台焕新上线，建设AI算力+算法+数据全链路
作者&编辑|3D视觉开发者社区近日,奥比中光3D视觉AI开放平台(以下简称"平台")全新升级上线.平台依托奥比中光近十年的技术沉淀,为开发者和客户提供行业领先的3D视觉A ...
自动驾驶系统中视觉感知模块的安全测试
本文由吴昊,王浩,苏醒,李明昊,许封元,仲盛联合创作摘要近年来,基于深度学习的视觉感知技术的发展极大地促进了车联网领域中自动驾驶的繁荣,然而自动驾驶系统的安全问题频出引发了人们对自动驾驶未来的担忧 ...

3D视觉感知新SOTA BEVFormer复现nuscenes数据集测试demo

3D视觉感知新SOTA BEVFormer复现nuscenes数据集测试demo相关推荐

最新文章

热门文章