实现自动驾驶的难点有哪些？
摘要：
这里主要介绍了传感器融合（SF）对目标方面的几类任务，除目标之外，传感器融合还能做很多其他对环境建模的任务，例如道路特征的描述、占用栅格地图以及可通行区域表示等等。
从车道保持到高阶自动驾驶功能，都需要车辆所处的静态、动态环境的准确信息。通过传感器数据融合，可以获得有关其他交通参与者的动态信息、静态环境以及道路和交通规则的信息。俗话说“单丝不成线，独木不成林”。面对如此复杂的自动驾驶系统，最好的办法自然是博采众长，多传感器融合咯。
01False Positive & False Negative
这是做多传感器融合之前必须了解的一个概念。统计学上的名字叫第一类错误和第二类错误。当然，这么专业的名字经常搞得人云里雾里。实际上，除了FP和FN之外，还有TP和TN，组成了如下图所示的四角关系。
医学上经常会用这个术语来表述检测结果和实际结果的差别，经典的例子就是你有没有得肿瘤导致你心情大起大落的故事。在自动驾驶感知任务中，FP和FN常被描述成如下场景：
FP：传感器探测到了目标，但实际上没有这个目标。这样的目标又被称作ghost。
FN：传感器没有探测到目标，但实际上有这个目标。这样的情况被称为漏检。
对于双目摄像头而言，它能感知深度，这原本是个很不错的能力。但是当双目摄像头遇上有强光反射的光滑地面时，强光导致的图像局部饱和会让摄像头的深度测量出现偏差，而误以为地上有一个洞。但我们都知道实际上地面上并没有洞，那这就是一个false positive。
明亮的地面反射导致摄像头探测到了洞
而这样的偏差会导致汽车在行驶过程中误以为前方不能通行，需要绕行避让或直接刹停，从而产生让人觉得莫名其妙的“幽灵刹车”。但是面对同样的场景，毫米波雷达就不会探测出一个洞来，因为它通过自身发出的电磁波来感知周围环境而不受光线强弱的影响。这时候采用传感器融合，就能够避免这样的问题。
02目标检测
了解了多传感器融合的必要性之后，我们来看看多传感器融合的细分任务。首要的任务便是目标检测。对于自动驾驶汽车来说，周围环境中最多的、出现频率最高的自然是其他汽车。而目标检测就是要用一个个小框把他们框起来，从而与周围环境区别开来。这样的框我们就称为bounding box。Bounding box可以分成二维和三维的，分别对应目标检测里的二维目标检测及三维目标检测方法。2D bounding box，顾名思义每一个框子都是平面的。好处在于简单快捷的把一帧图像或是点云里的目标标识出来。
但是同时缺点也是显而易见的。第一，由于框子也是二维的是一个平面，我没法知道这里车的长或者宽；第二，目标的行驶方向也无法体现出来。这两点在车辆进行ACC、AEB纵向功能时可能还不明显，但一旦涉及到车辆横向控制，需要变道时，缺少这些信息则是致命的。于是，三维的目标检测应运而生，并逐渐成为目标检测的主流。同时，我们也会把目标分类合并在一起做掉，这可以通过神经网络的多头设计来完成。因此你会看到目标的框上有一个分类以及分类的置信度。不同类别的目标有不同的几何外形，这样也能方便设计不同大小的框子对应不同类别的目标
。
不过3维框也有其局限，我们都知道车辆的外表并非一个完美的长方体，而都用长方体框出就忽略掉了很多外观上的细节。而这些细节在近距离跟车、加塞变道时会变得特别有用。
03目标追踪
目标检测还只是针对单帧的画面和数据，但是实际上我们的运动场景是连续的，我们不能只简简单单在一张或几张图片上成功检测到物体就足够，还需要跨帧地确保这些目标联系起来，即知道这些目标是同一个目标在不同时间戳的表示。这就是目标追踪。目标追踪的常用结构就是依据我们之前讲过的卡尔曼滤波结合目标关联算法。先预测，再关联，后更新。九字箴言。对于不同的目标我们会建立不同的数学模型，例如针对静止目标，由于速度始终为0不会变化，我们就会用恒定速度（constant velocity）模型来建立运动学模型；而针对运动的目标，尤其是车辆这种还带有旋转、拐弯的一般会用匀速圆周运动模型（constant turn rate and velocity）。不同的模型意味着不同的预测结果。
而有了预测值之后，你就能大约猜测出下一个周期目标应该会出现在图上的什么位置，从而去那个范围搜寻对应的像素点或者点云，把合适的点与预测的目标位置关联上。关联上后你就获得了这个时刻的测量值，你就可以用测量去校正之前的预测，从而获得精确的目标位置。这样，循环往复，周而复始，你就成功地tracking上了这个目标。在实际自动驾驶项目中，丢目标和目标跳变是一个很严重的问题。这里的“丢目标”指的就是目标追踪失败，传感器没能跟上目标实际的运动轨迹；“目标跳变”指的就是目标追踪丢失后又重新跟上。由于这两者都会导致目标ID变化而导致功能退出，因此都是需要在目标融合时极力避免的。
04总结
这里主要介绍了传感器融合（SF）对目标方面的几类任务，除目标之外，传感器融合还能做很多其他对环境建模的任务，例如道路特征的描述、占用栅格地图以及可通行区域表示等等。这些会在后续文章介绍，欢迎大家点赞关注收藏！
来源 | 知乎 晓畅Auto
实现自动驾驶的难点有哪些？相关推荐
- 自动驾驶攻破的难点在哪，何时能到Level 5？
知乎ID:陈光 上汽集团 | 高精度地图&环境建模工程师 量子位 已获授权编辑发布 转载请联系原作者 自动驾驶什么时候上路?目前还处于什么位置?什么时候实现全自动驾驶? 先来一张各大车企自动驾 ...
- 自动驾驶攻破的难点在哪，何时能到 Level 5？
作者:陈光 链接:https://www.zhihu.com/question/65799732/answer/238516359 来源:知乎 著作权归作者所有.商业转载请联系作者获得授权,非商业转载 ...
- 你想要的自动驾驶汽车，为何迟迟不能出现？
https://www.jianshu.com/writer#/notebooks/26475925/notes/46576801 如果自动驾驶标准是按照L5级别来要求的话,那确实还有很长的路要走,因 ...
- 简单易懂的自动驾驶科普知识
作者:陈光 来源:https://www.zhihu.com/question/65799732/answer/238516359 先来一张各大车企自动驾驶技术的分级图,大致了解一下目前已经量产的自动 ...
- 自动驾驶什么时候才会凉凉，估计还要多久？
来源 | 软件定义世界(SDX) 导读: 目前的自动驾驶存在这样一些问题:对数据要求太高,未来传感器的成本很难被接受,海量地图数据没完没了,同时还存在对系统鲁棒性要求很高的安全性问题......这些问 ...
- 华为八爪鱼自动驾驶云
华为八爪鱼自动驾驶云 2019年10月世界智能网联汽车大会上,华为轮值董事长徐直军做了主题演讲,阐述了华为智能汽车业务战略,描绘了智能汽车解决方案的五大业务板块:智能网联.智能驾驶.智能座舱.智能电动 ...
- 未来几年自动驾驶预测（上）
未来几年自动驾驶预测(上) 自动驾驶汽车依靠5G.人工智能.视觉计算.雷达.监控装置和全球定位系统协同合作,让电脑可以在没有任何人类主动的操作下,自动安全地操作机动车辆.近年来全球汽车行业达成共识,认 ...
- 超星未来发布新一代高级别自动驾驶车载计算平台
5月25日,由中国汽车工程学会.国家智能网联汽车创新中心主办的第八届国际智能网联汽车技术年会(以下称"CICV 2021")在北京亦创国际会展中心举办.超星未来联合创始人.首席技术 ...
- 无人驾驶 | 为什么双目自动驾驶系统难以普及？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 转载于 :黄浴博士知乎 单目视觉是Mobileye(ME)的看家法 ...
最新文章
- 对于注册中心，ZooKeeper、Eureka哪个更合适？
- 2017.2.12【初中部 GDKOI】模拟赛B组 T4：pot
- BUU[SCTF2019]Strange apk
- TP框架(接口文档模板框架)
- 【要闻】Kubernetes无用论诞生、Elasticsearch 7.6.2 发布
- 《中国人工智能学会通讯》——11.21 结束语
- java线程interu_Intel 10nm服务器U首曝：多线程性能提升118％
- Kafka模拟实现（用于自我测试环境）
- PHP连接pda,OTG接口是什么
- MongoDB 安全与认证
- layui 复选框checked获取值和赋值
- J1939广播DM1报文
- 酷派无线升级服务器设置在哪里,酷派手机CDA自助升级线刷工具安装教程
- LLC谐振电路（一） 整流电路总结
- stm32 火灾自动报警及联动控制源码_火灾自动报警系统设计规范 ：联动控制
- 如何稳定eBay店铺评分
- 深挖ThreadLocal
- 【基于HTML技术的趣味“2048”小游戏】（效果+源代码）
- 外包干了三年，真废了。。。
- 反走崛起之路4：国际大都市——纽约