【自动驾驶-感知-红绿灯】红绿灯识别常见Corner Case总结
在自动驾驶中，红绿灯感知模块通常会被当做一个单独的子模块进行单独设计，本文针对红绿灯感知过程中存在的部分问题进行汇总，以达到共同讨论，共同解决行业难点问题的目标。
1. 图像识别问题汇总
【corner case1】故障灯识别（长时间黑灯，长时间黄灯闪烁），远距离容易识别错误问题
【corner case2】闪烁状态识别（红灯闪烁，黄灯闪烁，绿灯闪烁）
【corner case3】远距离条件下，小目标红绿灯识别（高速120km/h下，至少要看到200m远）
【corner case4】太阳光干扰（逆光、光照不足导致图像灯盘颜色过浅，近似黑灯）
【corner case5】抓拍灯干扰（夜间抓拍灯过亮，导致图像过曝，图像灯盘无法分别轮廓边界）
【corner case6】镜头受到污渍干扰（夜间抓拍灯过亮，导致图像过曝，图像灯盘无法分别轮廓边界；雨雪遮挡镜头导致无法抓拍到易识别的图像登）
【corner case7】适配各式各样的交通灯检测识别（竖条灯<常见>，横条灯<常见>，临时竖灯，读条横灯，读条竖灯，高速通道灯，非机动车道灯，人行横道灯，单组灯，两组灯，三组灯，四组灯，箭头灯，圆头灯等）
[1] 读条竖灯
[2] 读条横灯
[3] 三箭头灯
[4] 倒计时与灯盘上
[5] 倒计时在灯盘一侧（通常在灯盘右侧）
【corner case8】交通灯背景干扰（常规背景为天空、树木，不常见的背景包括各式各样的建筑物、广告牌背景）
【corner case9】LED闪烁问题（一些不合规的交通灯存在LED闪烁，人眼看到灯有颜色，图像抓拍到的为黑色）
【corner case10】动态交通灯问题（部分城市的部分交通灯，会根据交通流或者施工情况调整多组灯中灯亮的状态，例如两组灯，一个左转，一个直行灯，在某些时段，只让一个灯亮，容易造成规控无法对应交通灯进行决策，导致该停车不停，该前进不走等问题）
【corner case11】倒计时识别问题（倒计时数字牌往往更小，而且布局各不相同，通常常见的布局包括，单独倒计时牌<立于竖灯右侧或头顶>，与灯牌一体倒计时<立于灯盘中间>；倒计时数字也不相同，通常有个位数字和两位数字，两位数字存在01、02...，最大数字可以到99；夜晚识别倒计时牌容易受到大光晕干扰，造成肉眼无法识别数字；在较远地方，倒计时牌无法识别等问题）
【corner case12】箭头指向、圆头识别问题（较远的地方，箭头与圆头类型容易混淆，箭头指向识别准确度较低等问题）
【corner case13】夜晚识别问题，夜晚路口各类灯光干扰下，对全图检测红绿灯带来较大困难，同时，夜晚红绿灯灯光极管亮度高，容易造成灯头形状无法区分，对识别灯头形状，识别倒计时数字造成更多困难。
【corner case14】遮挡场景识别问题。例如下图中遮挡问题，前车被油罐车遮挡视野，红绿灯存在完全无法看到，部分看到等多种情况。
【corner case15】多路口重叠灯识别问题。
【corner case16】高架桥下复杂的交通灯识别问题。
2. 依赖高精地图识别红绿灯问题汇总
【corner case1】多颗摄像头切换选择问题。自动驾驶中通常至少需要两颗摄像头(远/近焦距)来完成红绿灯图像采集问题，但依赖高精地图方案中，最终只会选择一张图像完成检测识别过程，精确的选择哪一张图像来完成后续过程需要在大量的试用过程中不断调优，从而适配各式各样的场景。
【corner case2】左转待转区采用右前侧宽视角摄像头图像，当左转待转区距离直行交通灯较远时，存在右前侧摄像头成像无法区分红绿灯颜色（即红绿灯在图像上无论是红、黄、绿哪种颜色，肉眼看都是黑色）
【corner case3】左转待转区采用右前侧宽视角摄像头图像，当左转待转区距离直行交通灯较远时，倒计时功能无法正常使用，人眼无法从图像中区分数字
【corner case4】高精地图中是按照车道线lane id与交通灯signal id一一对应绑定，由于检测模型会搜索到感兴趣区域中的全部近似红绿灯灯框，进而再与高精地图通过位置相近计算进行匹配。因此在直行道路，左转待转道路等需要绑定红绿灯的场景中，地图中需要将全部交通灯进行绑定。由于高精地图中绑灯是人工完成的，往往容易出现制图中针对废灯(不亮，一直为黑灯)容易出现忘记绑定问题，最终导致匹配时，可能出现匹配错误问题
【corner case5】高精地图中存在单lane id绑定多signal id问题，规则的不一致性容易导致匹配问题
【corner case6】高精地图中由于最终绑定signal id的lane id往往比较短，但是现实情况要求自动驾驶车辆需要在非常远处能够看到交通灯，因此需要通过对地图中lane id后继车道线进行查询，并且确认后继车道线是否绑定红绿灯，而最终推导出100米甚至是200米远的距离中是否存在红绿灯，进而决定是否开启交通灯识别功能
【corner case7】在自动驾驶汽车越过停止线后，自车所处的lane id也会随之改变，但这个时候汽车需要继续观测交通灯，来辅助车辆不闯红灯，因此需要对之前的lane id进行查询。通常要获取之前的lane id有两种方式，一种是短暂记忆刚刚经过的lane id(绑灯)，一种是设计前继查询lane id(绑灯)
【corner case8】左转待转区停止线前方有专门的左转交通灯，进入左转待转区前正前方有左转灯和直行灯，当前路口相当于有两组灯，一组为单独的专门辅助的左转交通灯，一组为直行+左转灯。
【corner case9】高架桥下多组灯匹配问题。在高架桥下，往往存在两组灯，且在远距离下，两组灯重叠度高，基于高精地图下，需要将问题简单化，即一个路口只选择一组灯进行识别，但是在高架桥下，这种方式容易导致匹配错误。
【corner case10】相机盲区限制了停止线距离红绿灯较近的识别。现实世界中，多数红绿灯距离停止线均较远，往往超过10m，但同样存在距离停止线过近的情况，如果选择相机焦距过大，容易造成，在停止线附近，识别红绿出现盲区，造成停车后，无法感知红绿灯，从而无法起步问题。
【自动驾驶-感知-红绿灯】红绿灯识别常见Corner Case总结相关推荐
- 如何入门学习自动驾驶感知技术？
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本文授权转载自公众号:自动驾驶视觉感知工程师 一.前言 目前车企正在经历着前所未有的改革,包括前两天奥 ...
- Apollo星火计划学习笔记——第六讲上自动驾驶感知基础（I）
文章目录 1. 感知的作用 2. 常见传感器 2.1 相机 2.1.1 相机的种类 2.1.2 相机的特点 2.2 激光雷达 2.2.1 激光雷达系统构成与方案 2.2.2 激光雷达光源 2.2.3 ...
- 自动驾驶感知系统盘点
自动驾驶感知系统盘点 Perception(感知)系统是以多种传感器的数据与高精度地图的信息作为输入,经过一系列的计算及处理,对自动驾驶车的周围环境精确感知的系统. 它能够为下游模块提供丰富的信息,包 ...
- 《自动驾驶感知算法实战专栏（源代码）》专栏概述
导言 自动驾驶太火?高薪?跃跃欲试,又仅存于想的阶段.动起来,只是看理论,却总也学不会?看不懂,又总没有进度?如果你也有这类问题,那你来看看这个专栏.以实际项目为导向,亲自动手实践,从简单的图像分类. ...
- 论文阅读综述：自动驾驶感知的多模态传感器融合Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
题目:Multi-modal Sensor Fusion for Auto Driving Perception: A Survey 用于自动驾驶感知的多模态传感器融合:综述 链接:https://a ...
- 自动驾驶感知——环境感知的基本概念
文章目录 1. 智能汽车概述 1.1 汽车新四化 1.2 智能网联汽车 1.3 SAE J3016自动驾驶分级标准 2. 环境感知定义 2.1 智能网联汽车系统架构 2.2 环境感知定义及对象 3. ...
- 【自动驾驶】自动驾驶感知系统与关键技术介绍
文章目录 1.自动驾驶感知系统介绍 1.1 什么是自动驾驶? 1.2 什么是自动驾驶系统? 1.3 自动驾驶技术概览(以环境感知系统为主) 1.4 自动驾驶行业现状 1.自动驾驶感知系统介绍 1.1 ...
- 深度学习在自动驾驶感知领域的应用
程序员转行学什么语言? https://edu.csdn.net/topic/ai30?utm_source=csdn_bw 本次直播课程是由深度学习资深研究者-杨阳博士从百度Apollo自动驾驶感知 ...
- 代季峰对话张祥雨 | 自动驾驶感知新时代！新一代环视感知算法BEVFormer有哪些优势...
导读:Elon Musk说过,"人类不是超人,也不是蝙蝠侠,不能够眼放激光,也不装有雷达,但是通过眼睛捕捉到的图像,人类依旧可以构建出对周围世界的3D空间理解能力,从而很好地掌握驾驶这项能力 ...
最新文章
- HDU 1241Oil Deposits---(dfs)
- ArrayList转Json的2个坑
- 为ASP.NET MVC扩展异步Action功能（下）
- JZOJ 3789. 【NOI2015模拟8.20】编辑器
- html5 --- canvas绘制网格并画x、y轴
- linux c中动态申请二维数组,Linux C 编程详解第五篇：二维数组
- 清空计算机网络缓存,【缓存清理工具】缓存清理软件_电脑缓存清理软件【最新】-太平洋电脑网...
- PHP HTML 生成 PDF
- java8 list转map
- 泰安虚拟服务器怎么样,泰安S5353：搭建您最满意的服务器
- django orm 操作表
- 2021-09-07冒泡排序
- 【计算机语言】C语言小游戏——贪吃蛇
- movielens 1m 的mysql_MovieLens电影数据分析
- promise兼容性问题
- 单片机实验一 LED灯实验
- githug关卡小游戏，练习git
- ocr---训练自己的数据实现文本检测（kears实现east网络）
- 小学一年级计算机社团计划,小学科技兴趣小组活动计划
- linux下 etho网卡设置