点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨黄浴@知乎

来源丨https://zhuanlan.zhihu.com/p/426573034

编辑丨3D视觉工坊

arXiv在2021年10月25日上传的综述论文第3版“Explanations in Autonomous Driving: A Survey“，作者来自英国牛津大学（注；第1版发表于2021年3月）。

随着人工智能 (AI) 的发展，汽车公司采用黑盒子AI 模型，感知汽车环境并在自动做出驾驶决策。由于商业规模的部署自动驾驶汽车 (AV)，人类社会对 AV 的接受程度至关重要，很大程度上取决于透明度、可信度和合规性。对自动驾驶汽车行为的解释，可以促进这些验收要求的合规性评估。因此，可解释性被视为一项重要要求，自动驾驶汽车应该能够解释其运行环境所“看到”、做过和可能做的事情。

本文对可解释自动驾驶进行全面综述。

首先，强调那些透明度、问责制和信任度对自动驾驶汽车的重要性；检查与自动驾驶汽车相关的现有法规和标准。

其次，识别和分类参与自动驾驶汽车开发、使用和监管的利益相关者，并引出对自动驾驶汽车解释的要求。

第三，对之前AV 操作（即感知、定位、规划、控制和系统管理）可解释的工作进行严格审查。

最后，确定相关的挑战并给出建议，比如解释性的概念框架。

一种普遍认同的问责制概念与被要求向某些权威“解释”的过程有关。从广义上讲，问责制通常包含密切相关的概念，例如责任和义务。

对自动化系统的信任度极大地影响自动化系统的接受度和依赖性。信任度可以更精细地校准，这样个人对自动化系统的信任水平充分反映自动化系统的实际能力和功能范围。这种信任度校准被认为是人机交互安全高效的重要要求。

人们越来越担心算法收集和使用个人数据，这些算法在医疗保健、金融、保险和刑事司法等领域做出关键决策。2018 年实施的欧盟 GDPR（General Data Protection Regulation）旨在为个人提供更多对其个人数据的控制权。

智能交通系统 (ITS) 将先进的电子、信息和通信技术应用于道路和汽车。ITS实时收集、存储和提供交通信息，可以方便和安全地运输，提高可靠性、效率和质量， 减少能源消耗。

下表确定与 AV 中的安全和信息/解释相关的标准：

这些标准分为两组：1）人类安全相关标准，和2）信息或数据交换相关标准。目前还没有自动驾驶的可解释性标准。为了弥补这一差距，后面扩展表中突出显示的一些现有 AV 法规和相关标准，以直接支持自动驾驶的可解释性。

展望未来，任何必须参与解释的人称为利益相关者。这里将利益相关者分为三大类：

A 类（所有类型的最终用户和社会）；

B 类（所有技术群体，例如开发人员）；

C 类（所有形式的监管机构，包括保险公司）。

在开发或评估解释性的文献中采用方法有三种：

首先、存在未经验证的设计和评估解释性的指南。

其次、了解用户的需求可能有助于可解释性的 AI 研究。

第三、一些解释性设计方法来源于学术文献形式理论的心理学构造。

有三种方法作为可解释性的分类维度：

1.主要基于研究人员经验而没有进一步用户研究来证明声明合理性的解释方法，归类于未验证的指南 (UG，unvalidated guidelines) 。

2.用户研究引出用户体验的那些方法，归类为经验派生 (ED，empirically derived)；

3.建立在心理学理论之上，归类为自正式理论的心理结构体 (PC，psychological constructs) 。

分类的其他维度，包括因果过滤器、解释风格、交互性、依赖性、系统、范围、利益相关者和操作等。假定解释由因果过滤器或调查查询生成，例如为什么、为什么不、如何以及假设。假设这些因果过滤器产生的解释可能是事实（例如“为什么”解释）、对比（例如“为什么不”解释）或反事实（例如“如何”和“假设”解释），如下表所示：

下面表格显示分类的代表性子集，主要是在自动驾驶的背景下讨论或实施的解释性技术（注：该综述包含了注意图和热图的相关工作）：

一些开源数据集提供供解释性开发的标注，其中用于收集数据集的传感器分为exteroception和proprioception类型，可从解释性中受益的利益相关者不同，见下表所示：

尽管数据集有助于开发解释方法，但重要的是要注意这些数据集相关的潜在挑战。每个数据集都是从世界的一个地区收集的，因此它们很可能无法泛化，尤其是在交通标志、规则和道路拓扑与其他地区截然不同的情况下，这可能会导致有偏见的驾驶决策。

此外，大多数数据集仅提供外部环境的视频，不提供内部 AV 状态数据。因此，人们担心用该数据集设计的解释性技术是否会非常遵从AV的真实情况。

事件数据记录器 (EDR) 作为汽车中的记录设备，用于记录与车辆事故相关的信息。随着自动驾驶汽车在社会中的增加和越来越受到公众的关注，有必要将人类驾驶员的错误和疏忽与 AV 的错误（不适应或不良产品设计或产品缺陷引起）区分开来，并在解释性中表达这些错误。

多年来，自动驾驶汽车在自动化水平、车载技术和接口（即车内的技术和接口）方面取得了发展。本质上讲，SAE自动驾驶 级别从 0 到 2 的车辆，由于其复杂性低而具有较低的解释性要求。对于自动驾驶3 级和以上的车辆，由于其复杂性高对解释要求较高。

如下表 提供了 SAE自动驾驶 级别的解释要求：车辆仪表（即测量有关车辆的某些仪表）界面演变为自适应显示，内容以增强用户体验的形式呈现，并具有增强的定位功能，例如全球导航卫星系统 （GNSS）。

前面提到，一些标准与自动驾驶的可解释性非常相关。例如，ISO/TR 21707:2008 指定了一组标准术语，用于定义 ITS 域中数据供应商和数据消费者之间交换的数据质量，这与 AV 可解释性非常相关，尽管最初并不是这个目的。虽然数据质量很重要，但呈现方式和语言以及提供数据的界面对于自动驾驶的解释性也很关键。

可解释性有助于评估和合理化 AV 的操作，即基于结果（outcome）的解释性，并提供有关 AV 设计、部署和管理的治理信息，即基于流程（process）的解释性。这符合通用 AI 系统的信息委员会办公室 (ICO，information commission office) 指南。

为了能够合理化/解释 AV 结果，即基于结果的可解释性，在感知级（即 AV“看到”的内容）、决策级（即 AV 如何规划路径和运动）以及行动或控制级（即AV 如何按照其规划行事或如何执行决定）的解释性必须加以考虑。

AV 中基于流程的可解释性提供有助于整个操作和 AV 管控进行独立评估的信息。基于流程的可解释性需要感知、决策和行动数据，包括整个 AV 操作的管控流程。这使事件或事故发生后立即重建成为可能，显着减少未来改进提供推荐的时间。

文中建议一个将核心 AV 操作和组件组合在一起对可解释规定的概念设计，如图所示：

感知和定位操作融合在一起，因为两者都直接从传感器（激光雷达、雷达、GPS、IMU）接收输入。感知系统提供世界/环境的数字 3D 表示，包括有关目标检测、检测和跟踪不确定性以及目标位置的信息，并传递给行为和运动规划系统，该系统通过估计风险、寻找缓解措施和 产生轨迹等做出决策。

行为和运动规划系统的输出通知车辆控制和驱动系统发送到执行器，改变车辆动力学，实现某些效果（例如，对观察做出反应）。这些操作每一个都直接提供给系统管理模块中的解释器和 事件数据记录器（EDR）。EDR 组织其数据并向解释者提供其组织的/结构化的数据。

解释器可根据从不同操作和 EDR 获得的数据组合生成解释。可指定时间范围解释日志，批量请求解释，也可以对话（即一次一个查询）请求解释。解释日志可以提供基于过程的信息，对事故调查和有效的 AV 管制有用。当事件发生时，对话解释对于基于结果的可解释性很有用。

许多在自动驾驶背景下检查解释性的工作都是把信任作为目标进行的。这些工作涉及用户研究，要么是与真实系统几乎没有或没有直接联系的的合成实验室任务，要么是使用过的微世界。微世界是真实系统的简化版本，其中存在关键元素，但消除了复杂性，有助于实验的轻松控制。

AV 可解释的研究主要集中在基于感知数据的解释理论和实现上，而较少以用户为中心的实证研究。利益相关者在解释效用方面的考虑需要更多关注。此外，大多数提出的解释方法不符合标准因果解释的属性。

建议采用跨学科的方法来解释自动驾驶，其中来自行为科学（例如对话理论）、人机交互（例如用户界面设计）、人工智能、伦理（例如，通过解释揭示偏见）、哲学（例如因果解释理论）和心理学（例如民间心理学）被采纳。此外，开发的解释技术应通过用户研究、现场试验或实验室研究进行测试，以确保满足在其设计中各个利益相关者的要求。

现有工作的一个主要限制是，所产生的解释性可信度低。目前几乎所有现有自动驾驶数据集中都缺少自动驾驶操作中间数据或状态数据。此外，自动驾驶汽车可解释性的现有工作仅仅是人类试图使自动驾驶汽车或自车的行为得到合理化的解释。从合理化中获得的这些解释用于注释驾驶数据集，这些数据集随后用于训练深度可解释模型。此过程的复杂性或黑箱性质使检查变得困难，从而对附和度评估提出了挑战。

当前研究的另一个严重限制是基于感知数据集的结果解释模型中存在固有偏差。数据集有限并且不具有代表性，因为它们没有以均等比率涵盖所有可能的驾驶场景。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~