成熟的测试技术可以推动自动驾驶技术的发展和进步，反之则会成为测试技术发展的瓶颈，从自动驾驶汽车测试的需求出发，测试方法和测试工具的同步发展尤为重要，而其中基于场景的测试方法和基于虚拟仿真的硬件在环、整车在环测试技术是根基，将成为自动驾驶汽车测试技术发展的核心，是该领域的主要研究方向。

本文来源：工程师的扳手

自动驾驶汽车测试与评价是自动驾驶研发中的重要环节，也是自动驾驶技术发展的重要支撑.伴随着高级驾驶辅助系统(ADAS)和高等级自动驾驶系统(美国汽车工程师学会(SAE)L3~L5，见表 1)的开发和应用，产生了很多新的测试需求.在美国和欧盟开展的众多项目中，对ADAS功能做了详尽研究，并形成了相应的测试方法和标准.与ADAS功能不同，高等级自动驾驶系统可以在特定环境下完全替代人类驾驶员进行车辆操控，由于驾驶控制权发生转移，高等级自动驾驶系统将面临环境不确定性带来的诸多挑战，如多变的气象条件、道路环境以及无法预知的车辆行为等。

因此，采用预先设定的用例进行测试将很难满足自动驾驶功能的测试需求.学者们从多个方面开展了自动驾驶汽车测试技术的研究工作，归纳为以下三个方面：

①测试方法，即满足特定功能需求的具体测试方案；

②测试工具，即满足特定环境需求的测试设备和平台；

③测试加速，即能够提高测试效率的方法和手段.

本文将从以上三个方面对自动驾驶汽车测试技术的研究现状进行阐述，并分析不同测试方法、测试工具和测试加速的适用范围及局限.

1 测试方法

测试方法主要指测试内容的组织形式以及开展测试的途径.一方面，就自动驾驶功能的特点而言，在车辆进入完全自动驾驶状态后，车辆一切行为均是系统自主决策的结果，因此测试方法必须提供车辆自主决策的自由度，保证车辆性能得到体现；另一方面，从测试的可重复性、可控性等需求出发，又希望测试对象在特定条件下被测试.根据上述两方面需求，按照测试方法对测试输入和测试过程要求的不同，可以将测试方法分为基于用例的测试方法、基于场景的测试方法和公共道路测试方法.三种测试方法的对比如表 2所示.

1.1 基于用例的测试方法

基于用例的测试方法是指通过预先定义的测试用例来测试车辆的某项功能是否满足特定条件下需求的方法.测试用例是指为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求.该测试方法的特点就是对测试过程和测试结果有明确的要求，如对自动紧急制动(AEB)的测试，在不同条件下通过制动使车辆避免与障碍物发生碰撞，来证明功能有效.

美国较早开展的CAMP项目，对26辆装备了前向碰撞预警系统(FCW)的车辆进行了场地测试和评价.针对类似功能的另一个项目中，对FCW的三种不同预警算法行了测试，测试用例源于100-Car研究中产生的83个危险场景.在其他一些项目中，基于典型危险和事故场景，对交叉口碰撞避免系统(CICAS)、动态制动辅助(DBS)以及预碰撞紧急制动(CIB)等进行了测试.

在欧盟较早开展的一些项目中，对紧急制动(AEB)等功能进行了测试.在ASSESS项目中，通过对德国、法国、瑞典等多个国家事故数据的研究，获得了发生频率较高、伤害程度较为严重的五类事故场景，并测试了AEB在不同车速下是否能够紧急制动从而避免撞上前车.在PreVAL项目中，对碰撞避免、车道保持、换道辅助、盲点预警等八类ADAS功能进行测评，为每一类功能都设定了特定的测试条件矩阵，通过虚拟测试、场地测试等多种手段测试ADAS功能是否达到预期要求.interactIVe项目采用了类似的方案，测试的功能包括弯道速度控制、换道碰撞避免、后向碰撞避免等ADAS功能.

基于用例的测试方法主要适用于功能相对单一，并且有明确应用条件和预期结果的各类功能测试与验证.主动安全和ADAS功能的测试，以及自动驾驶开发阶段的单项功能测试，均可应用基于用例的测试方法.由于测试输入、测试条件和结果明确且可控，因此该测试方法可重复性强、效率高.对于测试输入和测试条件的确定，目前主要依赖于危险数据、事故数据、理论分析以及模拟试验数据的分析，但是前期的数据采集和分析成本相对较高，并且获得的数据存在局限性.基于用例的测试方法在应用于功能相对复杂和综合的自动驾驶系统时存在一定不足：首先，该方法只能对某项功能进行测试，而无法测试多项功能的综合表现；其次，由于对测试结果有着明确的要求，自动驾驶系统的自主决策能力难以体现.

1.2 基于场景的测试方法

基于场景的测试方法是指通过预先设定的场景，要求车辆完成某项特定目标或任务来对系统进行测试的方法.场景描述了特定时间段内发生的事件过程，目前暂未形成场景的确切定义，但一般将场景理解为多个事件顺序发生而构成的序列，并会延续一段时间，或简单理解为事件的剧本，描述一定空间和时间范围内的所有环境以及交通参与者的状态、行为过程及目的.图 1展示了一个典型的多车交互场景.

图 1 换道场景示意图

该测试方法的特点在于对测试结果没有明确要求，在不违背给定目标或任务的情况下，自动驾驶系统可以自主选择采取何种方式来处理当前状况，具有很高的自由度.

在基于场景的测试方法的应用方面，最典型的是美国国防高级研究计划局(DARPA)举办的无人车挑战赛(DARPA Challenge)和中国自然科学基金委员会主办的中国未来挑战赛.在场地内模拟多种交通场景和环境，要求车辆完成特定任务来对车辆进行测评，比赛中人为干预会被罚分，比赛车辆具备完全的自主决策权.

2007年11月举办的第三届DARPA Challenge赛事中，重点关注车辆在模拟城市环境中的自主行驶能力以及与其他车辆的交互能力，自动驾驶系统需要对周围环境做出综合判断并选择合适的操纵行为.

2017年11月在常熟举办的第九届中国未来挑战赛，同样考察了在真实交通流中无人车与社会车辆和周围环境的交互能力，设置多种城乡道路模拟环境，考察自动驾驶汽车在多种场景下的应对能力.

欧盟在近几年开展的研究项目中集中解决基于场景的测试方法和技术.AdaptIVe项目开展了基于场景的小规模道路测试，运用场景识别与时序分段技术对自然驾驶数据进行场景划分，主要解决特定测试需求下的最小测试里程问题.在最近开展的PEGASUS项目中，为解决基于场景的测试方法的测试输入问题，研究者对项目进行了定义和分级，从功能场景、逻辑场景到具体场景，描述的抽象程度越来越低，同时场景数量随之增加，以此形成场景测试的初始条件，作为自动驾驶车辆的起始工况.

基于场景的测试方法的优势在于该测试方法只规定了测试的初始条件，不预设测试过程以及测试结果，可以提供自动驾驶系统自主决策的自由度，能够对自动驾驶系统多种功能的综合性能进行测试，因此更适合高等级自动驾驶系统的测试需求.为了满足多种环境感知传感器的测试需求，同时提供自动驾驶系统决策所需的自由度，测试场景的设计势必更加复杂，环境要素更加丰富，因此测试场景的构建是该测试方法的一大挑战.与基于用例的测试方法类似，基于场景的测试方法同样需要分析多种来源数据以确定测试场景的内容以及测试初始条件.场景采集和分析的成本较高，目前主要通过自然驾驶数据、事故数据的研究，或者从大量的模拟试验数据中寻找典型场景，理论分析也是一种很重要的场景获得手段.

1.3 公共道路测试方法

公共道路测试是指在现实道路和真实交通环境下开展的测试.该测试方法与上述两种方法相比存在特殊性，主要体现在该测试方法是结合特定测试环境的专用测试方法，无法推广到其他测试工具.公共道路可以提供完全真实的、非人工模拟的交通场景，所有交通参与者、气候条件、道路条件都真实存在，不受人为控制.由于所有事件均是随机发生的，因此测试中无法预设测试初始条件，车辆在公共道路行驶的过程均是测试过程，从而对自动驾驶系统提出了更高的要求.

梅赛德斯-奔驰于2013年用一辆S500轿车完成了一段103km的全自动驾驶道路测试.整个测试路线途经25个城镇和主要城市，覆盖了很多复杂的交通场景.美国谷歌公司的Waymo自动驾驶汽车研发团队是最早开展全自动驾驶道路测试的团队之一.截至2017年10月，Waymo自动驾驶汽车在美国的4个州、20个城市完成了超过5.6×106 km的道路测试.在测试过程中，由经过严格培训的测试工程师负责监测和记录自动驾驶汽车的行为，寻找车辆表现不佳或无法应对的特殊场景，针对性地改进和调整软件算法，对功能进行迭代和优化.除谷歌外，沃尔沃、通用汽车等厂商都先后在美国开展了自动驾驶的公共道路测试.

公共道路测试能够提供真实的交通环境，满足环境感知系统、决策规划系统的测试需求，理论上是进行自动驾驶测试的最佳方式.该测试方法的主要不足在于测试周期长、效率低，测试成本巨大，同时必须考虑安全风险问题以及法律法规的限制.根据美国国家公路交通安全管理局(NHTSA)2013年的统计数据，平均每530 000英里(1英里=1.609km)出现一次机动车碰撞事故，而平均每99 000 000英里才出现一次致死事故, 因此车辆在道路中实际行驶时是极少遇到危险状况和事故的.从统计学角度出发，要验证自动驾驶汽车比人类驾驶更安全，理论上应至少进行99 000 000英里以上的公共道路测试，这是一个无比巨大的测试里程.因此，单纯依靠公共道路测试方法来测试自动驾驶系统并不具备可操作性.

2 测试工具

测试工具可以满足不同测试阶段、不同测试环境需求的测试，一些测试工具的采用可以大大提高测试的可重复并降低风险，同时便于数据的采集.根据测试环境的真实程度或者不同的实际在环硬件数量，测试工具可以分为虚拟仿真测试、硬件在环测试、整车在环测试和封闭场地测试(见表 3).不同的测试方法可以结合不同的测试工具使用.

2.1 虚拟仿真测试

虚拟仿真测试是纯数字仿真测试工具，由模拟场景、车辆动力学模型、传感器模型、规划决策算法等组成，可以对自动驾驶汽车的各个系统以及整车进行仿真测试.虚拟仿真测试一般应用在功能开发早期阶段，在没有实物硬件的情况下，对系统的策略算法进行验证.

利用一些现有的虚拟仿真软件，可以实现自动驾驶的仿真测试.PreScan是一款被广泛应用的虚拟仿真软件，可以对简单的交通场景进行模拟，但PreScan软件最早是为碰撞前场景和ADAS功能设计的，因此只能应对简单的交通场景，环境仿真水准一般，建模效率低.SiVIC软件与PreScan软件类似，但可以提供更加真实的、种类更齐全的传感器模型，并可以通过第三方软件如RTMap(real time map)记录传感器生成的数据.Rossetti利用SUMO(simulation of urban mobility)软件和USARSim(unifiedsystem for automation and robot simulation)软件联合仿真方法实现了大尺度交通网下的多辆自动驾驶车辆的仿真测试(见图 2).谷歌搭建了专用的虚拟测试环境Carcraft，基于Waymo自动驾驶汽车安装的环境感知传感器系统采集的数据，结合高精度地图信息，完整地“复制”了真实世界的道路交通环境，在仿真环境下25 000辆自动驾驶汽车每天可以行驶800万英里.表 4总结了上述软件的差异.

图 2 基于SUMO和USARSim联合仿真的大尺度路网下的仿真测试

虚拟仿真测试可以摆脱对真实测试环境和硬件的需求，测试效率极高，测试成本和测试风险非常低.虚拟仿真测试的主要问题在于：一方面，测试结果严重依赖于传感器模型和车辆模型的正确性，不正确或错误的仿真模型将导致错误的结果；另一方面，现实场景在仿真环境中的快速还原难以实现.为了应对该问题，欧盟在PEGASUS项目中开发了一种场景记录文件格式OpenScenario，可以将采集的场景数据生成场景文件并应用于不同的模拟仿真软件.

2.2 硬件在环测试

硬件在环测试中，自动驾驶系统的部分部件或系统是真实的，而环境是虚拟的.自动驾驶汽车的环境感知系统、决策规划系统和控制执行系统均可实现硬件在环测试.

摄像头在环测试是比较容易实现的测试系统，将被测摄像头放置在显示场景的屏幕前，并构建摄像头测试黑箱(见图 3)，测试摄像头在不同场景下的感知与认知能力.超声波雷达硬件在环测试需要专门的目标物超声波信号模拟设备，对不同的车辆和障碍物的雷达波反射特性进行模拟，形成被测超声波雷达的回波信号.将不同的部件或系统进行整合，可以构建硬件在环集成测试系统.福特公司利用CarSim-Simulink联合仿真，基于动力总成和底盘硬件在环平台，对自动驾驶的路径跟随算法进行了试验.

图 3 摄像头硬件在环仿真测试黑箱

理论上大部分硬件均可开展硬件在环测试，但部分硬件的在环测试技术手段相对复杂且成本很高，如激光雷达、红外摄像头等，还有部分部件开展在环测试的意义不大，如决策规划系统硬件在环测试，虽然系统最终以硬件呈现，但是功能主要由软件体现，因此较少有研究机构开展相关工作.总体来说，硬件在环测试的应用范围仍比较有限.

2.3 整车在环测试

整车在环测试，即整车作为实物硬件被连接到虚拟的测试环境中进行测试，是比硬件在环测试更加复杂的测试工具.将所有部件、系统集成到车辆上进行测试，可以降低模型偏差带来的不良影响，使测试结果更加可靠.整车在环测试目前有两种方案，这两种方案的特点和测试需求各不相同.

2.3.1 封闭场地车辆在环测试

车辆在封闭的空旷场地上进行测试，场景仿真系统生成虚拟场景，由传感器模型和传感器信号模拟软件生成基于虚拟场景的传感器信号，并发送给车辆电子控制单元(ECU)，ECU根据环境感知数据进行决策规划和任务执行，同时场景模拟软件读取车辆GPS及航向信息用于更新参数，并根据新的位置信息给出传感器模拟信号，如此往复.Miquet等在联合研究项目中成功应用该测试方法实现了自动驾驶汽车的测试验证工作.

Butenuth等应用车辆在环测试平台，利用虚拟仿真环境，复现了六类典型的自动紧急制动和紧急避让功能的应用场景，并对两项ADAS功能进行了测试.Fayazi等对交叉路口智能控制系统进行了测试和评价，考查了该智能交通系统在减少车辆制动、能源消耗和保证交通安全方面的效果.

2.3.2 转鼓平台车辆在环测试

荷兰国家应用科学研究院天欧(TNO)公司研发的转鼓平台车辆在环测试，将装备了传感器的整车置于转鼓平台，被测车辆的绝对位置是固定不变的，利用机器人运动平台系统，模拟周围交通参与者与被测车辆的相对运动，实现车辆在环测试.该测试系统中，传感器部件均为真实硬件，因此测试结果更加可靠(见图 4).

图 4 车辆在环测试试验平台及仿真测试

以上两种在环测试方案在实际中均有应用，但封闭场地车辆在环测试仅仅车辆是实际硬件，传感器仍依赖于模型，真实度相比于转鼓平台略低，同时也不能克服场地受限的问题，难以实现一些较大尺度的交通场景.对于转鼓平台车辆在环测试，由于车辆是静止的，因此无法考查控制执行系统，而只能模拟车辆间的相对运动关系，对于周围环境变化无法模拟.

2.4 封闭场地测试

封闭场地测试从环境到车辆系统均为实物.封闭场地测试依托于专用的封闭测试场地建设，强调环境和场景的还原和模拟能力，采用柔性化设计，保证自动驾驶车辆能够在有限的场地条件下，尽可能多地经历不同环境和场景的测试.

根据自动驾驶汽车的测试需求，在美国、欧盟等经新建和改造后形成了一些专门的封闭测试场地，如由部分高速公路路段改造的Smart Road测试路段，位于英国考文垂的AstaZero智能汽车试验场地等.位于美国密西根的Mcity是较为典型的自动驾驶汽车封闭测试场地.该测试场地由多种路面和道路要素构成，包含水泥、沥青等铺装路面以及泥土、碎石等非铺装路面.在试验区内设置了丰富的交通标志、车道线、信号灯等道路要素，以及隧道、环岛、施工区等要素，在城市场景中搭建各种模拟建筑物，还有多种停车位、城市辅助设施等自动驾驶车辆在真实世界中可能遇到的道路元素，用于测试自动驾驶车辆的应对状况(见图 5).

图 5 Mcity自动驾驶汽车封闭测试场地

封闭场地测试的弊端主要在于测试效率低，并存在一定的测试风险.为提高测试效率，车辆一般需要先经过虚拟测试、硬件在环测试等，筛选最为典型和具有测试价值的场景开展封闭场地测试，降低场地测试的周期.

3 测试加速

测试加速即通过一定手段达到加快测试进程，提高测试效率的目的.随着自动化等级的提高，自动驾驶系统的使用场景和所要应对的情况也随之变得多样，从而造成测试用例和测试场景数量的急剧上升，因此通过一定手段提高测试效率以便降低测试周期和成本是非常必要的.目前，测试加速主要分为测试工具加速和测试过程加速.

3.1 测试工具加速

测试工具加速的出发点在于通过使用效率更高的工具以实现加速测试的目的.如本文第2节所述，虚拟测试工具的使用可以极大地提高测试效率，因此应该充分发挥虚拟测试工具的作用.Wachenfeld等提出了测试工具使用的基本原则，如图 6所示.图 6中，左上角为纯虚拟仿真测试，右下角为纯真实环境测试.通过虚拟仿真与真实硬件、环境的结合，既可以满足测试真实度的要求，又可以兼顾测试效率的要求.越多采用虚拟测试环境，测试效率就越高，测试成本就越低；越多采用真实测试环境，测试效率就越低，成本就越高.因此，实际测试过程中，在满足测试要求的情况下，应尽量选择虚拟仿真测试工具，避免大量使用真实环境测试.

图 6 测试工具加速

测试工具使用的基本原则在众多研究项目中均得到体现.Eckstein等提出了基于典型场景的循环迭代模型.该模型充分利用虚拟仿真平台的高效性，将从自然驾驶数据、事故数据等初始数据中提取的大量用例在虚拟环境中进行复现、测试、筛选，然后挑选其中y/x00的典型用例，将这些典型用例经硬件在环测试，再进一步验证和筛选，得到其中z/y的用例，最后将少量的最为典型的用例在真实环境中进行验证.通过以上各个阶段的验证和筛选，可以降低真实环境的使用，同时满足功能验证的需求(见图 7).Tatar等结合虚拟场景自动生成技术对该模型进行了改进，在虚拟仿真的测试阶段，依赖场景自动产生技术生成巨量测试场景.PEGASUS项目在此基础上进一步扩大数据的来源，并结合了专家理论分析产生的场景.

图 7 场景循环迭代模型示意图

3.2 测试过程加速

测试过程加速是通过一定手段提高测试执行过程的效率.测试过程加速一般依赖于虚拟测试环境的使用，这主要是由于虚拟测试环境的特性便于特殊测试条件的实现，进而对测试过程施加影响，因此更容易实现测试过程加速.Zhao提出了自动驾驶汽车的测试加速理论.基于自然驾驶数据分析，应用重要性抽样等方法，在虚拟测试环境中放大危险场景发生的概率，提高车辆遇到的危险场景的频次，从而在相同的测试里程下出现更多的危险场景，理想条件下可以缩短测试里程千倍以上.谷歌则通过增加被测对象的数量来加快测试过程，在搭建的专用虚拟测试环境中，有25 000辆自动驾驶汽车不间断行驶，同样可以实现测试过程的加速.

4 分析与展望

自动驾驶汽车的测试依赖于测试方法、测试工具以及测试加速手段的综合应用，就目前国内外研究现状而言，构建包含虚拟测试、硬件在环、整车在环和封闭场地形成的测试工具链是非常必要的，在选择测试方法时需要综合考虑应用的测试环境、测试效率、测试成本等因素。图 8展示了不同测试方法在测试工具中的应用以及测试效率.

图 8 测试方法与测试工具的结合应用

从本文的分析来看，现阶段自动驾驶汽车测试技术仍存在许多不足和局限性，主要体现在以下几个方面：

(1) 测试方法方面.基于用例的测试方法不能完全满足自动驾驶测试需求.基于场景的测试方法和技术亟待完善，场景提取、筛选以及测试场景的构建是主要问题.现阶段公共道路测试主要面临安全风险和法规约束，同时测试效率低、成本高，开展比较困难.

(2) 测试工具方面.必须构建完整的测试工具链.目前虚拟仿真测试的主要弊端在于难以正确构建传感器模型，不能处理大尺度地图和交通流.硬件在环测试和整车在环测试应用均不成熟，亟待进一步研究.

(3) 测试加速方面.场景的筛选迭代方法是目前测试工具加速的主要应用，但筛选过程中场景的取舍缺乏理论支持，存在忽视典型场景的风险；通过增加测试对象实现测试过程加速是最直接有效的方式，但需要依托特殊的测试环境和设备，利用方法理论进行测试加速仍存在很大的研究空间和可能性.

针对以上应用现状的分析，认为未来自动驾驶汽车测试技术的发展重点应围绕以下三个方面：

(1) 测试方法上，需要进一步完善基于场景的测试方法，发展场景综合构建方法和场景复杂度评估理论，并建立场景定义标准，以加快场景测试方法的落地应用.

(2) 测试工具应着力发展硬件在环以及整车在环测试平台，建立柔性化、可定制，能满足不同硬件和车辆平台测试需求的多功能硬件在环和整车在环测试平台.提高虚拟环境的仿真程度，研究不同环境影响因素的构建方法.

(3) 寻找更多测试加速方法，并探究测试加速的理论依据以及基于多种测试平台的测试方法.

成熟的测试技术可以推动自动驾驶技术的发展和进步，反之则会成为测试技术发展的瓶颈，从自动驾驶汽车测试的需求出发，测试方法和测试工具的同步发展尤为重要，而其中基于场景的测试方法和基于虚拟仿真的硬件在环、整车在环测试技术是根基，将成为自动驾驶汽车测试技术发展的核心，是该领域的主要研究方向.