【自动驾驶】浅谈自动驾驶在业界的发展

文章目录

【自动驾驶】浅谈自动驾驶在业界的发展
- 一、自动驾驶基础概念
- - 1、高级辅助驾驶技术
  - 2、自动驾驶级别
  - 3、车联网（Vehicle-toeverything，V2X）
  - 4、各类雷达简介
- 二、自动驾驶在业界的应用
- - 1、自动驾驶商用车的应用场景
  - 2、目前自动驾驶在业界的发展状况
  - - 1）两类玩家：主机厂和科技企业
    - 2）自动驾驶的安全问题
  - 3、自动驾驶的技术选择问题（雷达感知还是纯视觉）
  - 4、高级辅助驾驶系统 / L3自动驾驶系统如何使用
  - 5、自动驾驶系统的失效判断
  - - 1）卫星定位系统的有效性判断
    - 2）轨迹预测失效判断
    - - a、轨迹预测、轨迹失效判断和失效原因分析的整体实现流程
      - b、虚拟车运行网络系统搭建（路线推演）
      - c、云端自动驾驶系统的训练
      - d、云端错误定位系统的训练
- 三、自动驾驶安全法规
- 四、半自动驾驶系统的控制权切换探讨
- - 1、自动驾驶过程中控制权的归属模式
  - - 1）切换型
    - 2）共享型
  - 2、在半自动驾驶系统中对人机交互过程的优化
  - - 1）基于共享型模式的半自动驾驶系统在强化学习中的应用
    - 2）使用时序图设计基于切换型模式的半自动驾驶系统的控制权切换过程
    - - a、车内设结构图
      - b、OESDs时序图设计
      - c、OESDs实验评估
- 五、我的看法

参考资料

2021中国矿区自动驾驶研究报告
百度Apollo开放平台
智慧交通解决方案
国内主机厂分布图
小鹏L2事故背后：是技术不行，还是司机违规操作？
为什么毫米波雷达识别不了静态物体? - 被算法滤除了
百度自动驾驶都L4了，特斯拉怎么还在识别交通灯？
国内外24家L4载人自动驾驶企业最新情况一览
16起特斯拉车祸被曝光：撞车前1秒，干脆把方向盘交还人类司机
纯视觉与激光雷达之争背后的产业逻辑
蔚来CEO李斌解释自动辅助驾驶NOP的正确用法
“幽灵刹车”频发，是特斯拉纯视觉感知的锅？
成本 25 万，搭载 8 颗激光雷达，百度要做「划时代」无人车
自动驾驶的控制过程还需要解决哪些规控问题
【论文】高级辅助驾驶系统与车联网(上)
【论文】高级辅助驾驶系统与车联网(下)
【论文】Reinforcement Learning approach for decision-making in driver control shifting for semi-autonomous driving | TU Delft Repositories
【论文】OESDs in an on‑road study of semi‑automated vehicle to human driver handovers
【专利】检测自动驾驶系统是否失效的方法和装置 - 专利申请号：202010476010.8
【专利】一种自动驾驶车辆的定位失效检测方法及装置 - 专利申请号：202010713063.7

一、自动驾驶基础概念

1、高级辅助驾驶技术

ADAS可以分为信息辅助与控制辅助两大类别（ADAS也可以认为是智能汽车的缩写）

ACC（Adaptive Cruise Control），自适应巡航系统

在车辆行驶过程中，安装在车辆前部的车距传感器（雷达/摄像头）持续扫描车辆前方道路，同时轮速传感器采集车速信号。当与前车之间的距离过小时，ACC 控制单元可以通过与制动防抱死系统、发动机控制系统协调动作，使车轮适当制动，并使发动机的输出功率下降，以使车辆与前方车辆始终保持安全距离。
AVM（Around View Monitoring），360°全景影像系统

通过多个（一般四个）超大广角鱼眼镜头拍摄图像，经过特殊算法对所拍摄图像进行畸变矫正以及拼接，形成物体周围的全景影像的系统。该系统多应用于车辆，实现无盲区行驶，全景泊车等功能，对安全驾驶有所帮助。
AEB（Autonomous Emergency Braking），自动紧急制动

AEB 系统采用雷达测出与前车或者障碍物的距离，然后利用数据分析模块将测出的距离与警报距离、安全距离进行比较，小于警报距离时就进行警报提示，而小于安全距离时即使在驾驶员没有来得及踩制动踏板的情况下，AEB 系统也会启动，使汽车自动制动，从而为安全出行保驾护航。
FCW（Forward Collision Warning），前向碰撞预警系统

前向防撞预警常用的也是采用摄像头传感器，通过拍摄前方车辆车尾形状与数据库里的形状进行比对，在匹配算法计算出可能发生碰撞的时距，提前向驾驶员发出警报。FCW 系统本身不会采取任何制动措施去避免碰撞或控制车辆，这是FCW与AEB存在的主要差异。
LDW（Lane Departure Warning），车道偏离预警

车道偏离预警系统主要由 HUD 抬头显示器、摄像头、控制器以及传感器组成，当车道偏离系统开启时，摄像头（一般安置在车身侧面或后视镜位置）会时刻采集行驶车道的标识线，通过图像处理获得汽车在当前车道中的位置参数，当检测到汽车偏离车道时，传感器会及时收集车辆数据和驾驶员的操作状态，之后由控制器发出警报信号，整个过程大约在 0.5 秒完成，为驾驶者提供更多的反应时间。而如果驾驶者打开转向灯，正常进行变线行驶，那么车道偏离预警系统不会做出任何提示。
BSD（Blind Spot Detection），盲区检测

盲点检测系统，通过车辆周围排布的防撞雷达、多普勒雷达、红外雷达等传感器、盲点探测器等设施。由计算机进行控制，在超车、倒车、换道、大雾、雨天等易发生危险的情况下随时以声、光（侧视镜上的小灯闪烁）形式向驾驶员提供汽车周围必要的信息，并可自动采取措施，有效防止事故发生。
DFMS（Driver Fatigue Monitor System），疲劳驾驶预警系统

利用感应器，捕捉驾驶员生理反应特征，对驾驶员进行疲劳预警。也有称DDW（Driver Drowsiness Warning），DMS（Driver Monitor System）。
APA（Automatic Parking Assistance），自动泊车系统

泊车辅助系统通过安装在车身上的摄像头，超声波传感器，以及红外传感器，探测停车位置，绘制停车地图。
LKA（Lane Keep Assistance），车道保持辅助

通过环境感知传感器识别本车相对于车道中央的位置，如果驾驶员无意间偏离车道，则应向驾驶员发出警告或通过自动转向干预使车辆重新回到车道内。
TSR（Traffic Sign Recognition），交通标志识别

在交通设施、地图、智慧城市等不够发达的阶段，交通标志的识别，也是作为摄像头传感器的亮点之一。它可以识别交通标志上的限速要求，驾驶员一旦超速立即给予提示。与此类似的RSR，Road Sign Recognition。

2、自动驾驶级别

Note：

ADAS和目前的L3自动驾驶在车辆硬件（各种传感器，摄像头）的配备下是差不多的，但是它们在技术实现上是有明显区别：

辅助驾驶系统的实现更多是依赖于传感器（毫米波雷达、激光雷达、单\双目摄像头以及卫星导航）对环境的感知，通过测距，测速，采集图像等，其中用到的技术大多数是数据分析技术，少量用到深度学习的技术；

自动驾驶也是通过传感器获取车辆感知数据，接着利用深度学习技术（依赖计算机视觉技术）来完成3D场景构建，实现更全面的环境感知，实现自动驾驶。

但是令人诟病的一点是L3级别的自动驾驶仍需要驾驶员操作，导致特斯拉，小鹏自动驾驶系统发生事故时，就有人出来发声说：“这不是自动驾驶系统，顶多是个辅助驾驶“，这就是L3级别自动驾驶定义的模糊性的问题：在人工智能主导的自动驾驶过程中，驾驶员根本不知道哪个时候要接管车辆；
为了规避L3级别的驾驶责任划分的模糊性，有些科技企业（例如baidu的Apollo平台），通过车联网技术，直接从L4及以上级别的自动驾驶进行切入。

3、车联网（Vehicle-toeverything，V2X）

车联网(V2X)是通向无人驾驶高级阶段的核心技术。广义车联网包含车内、车际和车云网。

车联网有广义和狭义之分，狭义车联网单指“Telematics”(车载移动互联网，又称车云网)。这里定义车联网为广义车联网，即车内、车际、车云三网融合。广义的车联网是最终实现无人驾驶的重要一环，一方面，车际网联合产业链前端的ADAS实现车路协同；另一方面，车云网将数据上传至云平台进行清晰分析，开辟产业链后端广阔的汽车后服务市场。

1）车内网：是指通过应用CAN总线技术建立一个标准化的整车网络。

2）车际网(V2X)：是指基于LTE-V / DSRC技术和IEEE 802.11系列无线局域网协议的动态网络。这是促进车际互联的最核心技术。(LTE-V是我国自研的V2X技术)

3）车云网(Telematics)：又称车载移动互联网，是指车载终端通过3G/4G/5G等通信技术与互联网进行无线连接。

现阶段车联网的发展（车际网是核心技术）

车内网与车云网产业化应用成熟，车际网尚处培育阶段。以V2X芯片为核心产品的车际网，是推动车路协同，促进车际互联的关键，由于其技术壁垒最高，发展步伐最为缓慢。世界范围内的V2X产品均处开发阶段，未形成大规模生产，批量生产后可配套装载于智能汽车和道路信号灯、加油站等基础设施，市场前景广阔。

无人驾驶依照“ADAS装配实现车内智能 → LTE-V/DSRC技术实现车际互联 → 车际互联的发展进一步推动车内智能设备的研发 → 车内智能对车际互联要求的上升”的发展路径，呈现螺旋上升趋势。

4、各类雷达简介

超声波雷达

超声波雷达是通过超声波发射装置向外发出超声波，到通过接收器接收到发送过来超声波时的时间差来测算距离。目前，常用探头的工作频率有40kHz、48kHz和58kHz三种。一般来说，频率越高，灵敏度越高，但水平与垂直方向的探测角度就越小，故一般采用40kHz的探头。
毫米波雷达

毫米波雷达发射毫米波段的电磁波，利用障碍物反射波的时间差确定障碍物距离，利用反射波的频率偏移确定相对速度。毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的优点。其缺点是无法识别物体颜色；视场角较小，需要多个雷达组合使用；行人的反射波较弱，难以识别。目前市场上主流的车载毫米波雷达频段为24GHz(用于短中距离雷达，15 ∼ 30m)和77GHz(用于长距离雷达，100 ∼ 200m)。
激光雷达（3D感知雷达）

车载激光雷达又称车载三维激光扫描仪，通过发射和接收返回的激光束，分析激光遇到目标后的折返时间，计算出目标与车的距离。通过这种方法，搜集目标表面大量的密集点的三维坐标、反射率等信息，能快速复建出目标的三维模型及各种图件数据，建立三维点云图，绘制出环境地图，以达到环境感知的目的。目前市场上比较常见的有8线、16线和32线激光雷达，还有少量64线产品。激光雷达线束越多，测量精度越高，安全性也越高，但是成本也越高。

和超身波雷达和毫米波雷达相比，激光雷达具有极高的距离分辨率、角分辨率和速度分辨率，且探测精度高、探测范围广；抗干扰能力强；能实时获取的信息量比较丰富，可直接获取目标的距离、角度、反射强度、速度等信息，从而生成目标多维度图像。但是激光雷达却很容易受天气的影响，比如在雨雪、大雾等天气条件下，其探测性能就会变的较差。

三种雷达的优缺点比较：现如今激光雷达技术还不成熟，存在成本高、工艺复杂、良率低，等问题，所以下面的各传感器性能的比较仅供参考。

在上面的论述中，更倾向认为"高级辅助驾驶系统 + 车联网 = 完全的自动驾驶"，这么说在一定程度上是对的，符合国家给出的智能网联车发展规划中对自动驾驶的界定（2017.12.27 - 《国家车联网产业标准体系建设指南（智能网联汽车）》）：

智能网联汽车是指搭载先进的车载传感器、控制器、执行器等装置，并融合现代通信与网络技术，实现车与 X（人、车、路、云端等）智能信息交换、共享，具备复杂环境感知、智能决策、协同控制等功能，可实现“安全、高效、舒适、节能”行驶，并最终可实现替代人来操作的新一代汽车。

政府认为智能网联汽车才是实现真正无人驾驶的标准，并且给出了智能网联汽车产品的物理结构图（感知层，网络层，平台层和应用层）：

其中 ADAS/智能汽车提供无人驾驶硬件层面的支持，而车联网（V2X）提供无人驾驶通信层面的支持。该部门规章方便企业建立智能网联车的标准立项，可以通过财政资金、研发项目等，支持相关标准研制、试验验证和贯彻实施。

二、自动驾驶在业界的应用

1、自动驾驶商用车的应用场景

自动驾驶商用车的主流应用场景包括矿区场景、港口场景、物流园区、机场场景、干线物流、末端物流。

矿区场景是封闭场景，复杂程度低，车辆类型包括自动驾驶矿卡和自动驾驶宽体车，时速低于30km/h，目前矿区自动驾驶已在宝日希勒矿区、白云鄂博矿区、鄂尔多斯矿区等多个矿区开展试运营
港口场景是封闭场景，复杂程度低，车辆类型包括自动驾驶集卡，时速低于30km/h，目前在上海、天津、宁波、深圳等多地港口已展开自动驾驶集卡试运营，天津港已经布局超25辆自动驾驶集卡。
物流园区场景复杂程度中等，车辆类型包括自动驾驶重卡和自动驾驶轻型货车，目前菜鸟、苏宁、德邦均布局物流园区自动驾驶，京东也开始筹备5G物流示范园，全园将引入自动驾驶技术。
干线物流场景主要是指跨省跨市的运输线，复杂程度高，车辆类型包括自动驾驶货车，目前图森未来，直线科技已经在多地进行商业试运营。
末端物流目的是解决“最后一英里“的配送难题，复杂程度高，目前苏宁、京东等平台均推出L4级无人配送小车，已经实现运营。

2、目前自动驾驶在业界的发展状况

1）两类玩家：主机厂和科技企业

现在各大自动驾驶主流玩家可以分为两类：以渐进式策略为主的主机厂（通用，一汽，吉利，比亚迪，小鹏等汽车零部件制造公司），以及跨越式策略的科技企业（百度的Robotaxi）。

主机厂的策略是从L1、L2向高阶自动驾驶进行升级，另一方面在L2汽车的基础上叠加新的L3、L4级别功能来给予客户更好的消费体验，提升车辆性能的同时，规避了L3责任划分带来的问题。
科技企业直接从L4及以上级自动驾驶切入，从物流车、矿区车、高速公路等针对具体工况的车辆入手，通过限定场景来降低开发难度，避免了由于场景复杂而带来的安全问题。典型公司有Waymo、百度、小马智行等。（参考国内外24家L4载人自动驾驶企业最新情况一览）

从这里可以看出两类玩家均从自身公司的硬实力出发，去发展自己的优势产业：

一汽，福特等老牌汽车生产商从效率和驾驶员的行车安全出发，主打L2级别的辅助驾驶系统，并渐进式地推进L3, L4自动驾驶系统。
百度通过自研的Apollo开放平台，车辆既可以通过车载传感器感知开放世界，也可以通过约定的协议，接收智能道路电子设备发过来的信号，对更远的车况环境进行感知，这也使得Apollo自动驾驶系统能够达到L4级别。

在2022.7.21，百度第六代量产无人车Apollo RT6在2022百度世界大会上正式首发，整车配备38个车外传感器，包含8个激光雷达、6个毫米波雷达、12个超声波雷达、12个摄像头，芯片算力可达1200Tops，造价成本压缩在25万元。Apollo RT6将在2023年启动小批量生产，并投入到萝卜快跑试运营；2023年底，萝卜快跑将在30个城市部署至少3000辆自动驾驶汽车，形成覆盖300万用户的服务能力；2024年初，Apollo RT6将进行大规模量产，并面向C端市场。

以 25 万的成本价来计算，不需要司机的 RT6 每月成本仅为 4100 元，一旦投入到萝卜快跑平台上进行商业化运营，打车价格将比传统出租车、网约车的价格还会低。

2）自动驾驶的安全问题

事故1：2021.9.22 - 小鹏P7（毫米波雷达识别了动态障碍物，但是视觉识别不了）

2021年，有一位小鹏车主在高速上驾驶小鹏P7时，在开启NGP（自动导航辅助驾驶，L2级自动驾驶系统）的情况下追尾了前方板车。

P7全车搭载了31个传感器，还在全球率先使用了英伟达此前最先进的Xavier自动驾驶芯片。以这些硬件为支撑，小鹏NGP系统是全球量产车中少有的几款同时具备自动变道+自动导航辅助驾驶功能的产品，在业内属于比较领先的系统。

但为什么这样一套先进系统，却无法识别一台大卡车呢？

小鹏P7搭载了博世最先进的第五代毫米波雷达（周身总计5颗），并且内嵌了博世的碰撞预警和AEB算法。这套AEB系统仅基于博世的毫米波雷达进行目标感知，并对潜在的碰撞风险做出预警和制动动作。博世会给AEB系统同样设定一个工作条件，比如前车的速度如果超过一定的数值，就不会进行制动而仅仅是给出提示，这也解释了AEB没有紧急制动的原因。

那么为什么会撞上呢？主要是卡车的尾部是一个低矮的平板，完全遮挡了轮子，属于异形车，视觉系统检测不到。但此时L2雷达应该能探测到前方有动态障碍物，为什么还是会撞上，有些懂行的人士分析得出的结论：国内目前量产的L2自动驾驶系统有不少都将视觉作为主传感器（权重高），雷达当作辅助传感器（权重低），如果视觉发现障碍物，不管雷达有没有发现，车辆都会做出反应，但反过来就不行。
事故2：2021.8.24 - 蔚来ES8（视觉识别不了，毫米波雷达能识别静态障碍物，但是算法在处理时滤除了静态信号，导致失效）

蔚来的辅助驾驶系统NOP也出现过事故问题，蔚来ES8在高速公路上因为没有识别到前面的缓行的工程车导致相撞。

主要原因是当时撞上的工程车处于缓行状态，因为毫米波雷达的物理特性，对静止物体和缓行物体的检测比较困难，再加上博世等雷达厂商的雷达算法会过滤掉一些静态目标（因为无法准确区分是车辆还是护栏），所以蔚来的NOP事故中，相当于是两个传感器都失效了。
事故3：2021.6.1 ~ 2022.5.15 - 特斯拉（视觉识别失效，幽灵刹车）

美国国家公路交通安全管理局发布了一份报告，统计了2021年6月1日到2022年5月15日止，发生的部分自动驾驶系统意外事故，一共有392起涉及L2先进驾驶辅助系统（ADAS）的事故，6人丧生，5人重伤。特斯拉的Autopilot占了273起，Waymo（谷歌）有62起，Transdev（法国交通集团）34起，Cruise（通用）23起。特斯拉涉及5起死亡事故，福特1起，重伤事故特斯拉3起，本田和福特各1起。但是从事故率来看，特斯拉事故率不到0.02%，而谷歌的Waymo达10%，通用Cruise达0.07%，而现阶段驾驶员依靠人眼视觉进行道路感知的人力驾驶的事故率是0.018％。

据美联社和路透社等外媒报道，美国国家公路交通安全管理局（NHTSA）发布了一份监管文件。该文件显示，自2022年2月以来，消费者对于特斯拉“幽灵刹车”的投诉量已经增长了2倍多，从今年2月份的354起增长至目前的758起。

“幽灵刹车”指的就是当驾驶员开启特斯拉Autopilot或者使用FSD等自动辅助驾驶功能后，在车辆前方没有障碍物或者不会与前方车辆发生碰撞时，特斯拉车辆却会进行非必要的刹车，以至于会给驾驶员带来重大的风险。

3、自动驾驶的技术选择问题（雷达感知还是纯视觉）

摄像头可以捕获丰富的场景信息，毫米波雷达、超声波雷达则只能在可视范围内提供障碍物的2D距离信息，激光雷达则能提供3D点坐标，构建3D点云图。雷达感知用到的是信号处理/滤波的技术，而纯视觉利用的是基于计算机视觉的目标检测技术。当我们探讨两者的平衡点时，一定程度反映这两种技术并不都能让人满意，要不然两种技术都可以使用。

实际情况下，视觉和雷达感知结果会发生冲突，因此现阶段对于特斯拉、Mobileye、小鹏、蔚来等车企，他们选用视觉作为主传感器（在决策时，视觉权重大，传感器的权重小），以便在两者发生冲突时决定相信谁的识别结果，进而使用哪种策略。

可以发现，识别和决策并不是端到端的过程，这就会存在问题：

先识别再决策，识别出来的置信度要达到多少，才要做出怎样的决策；
如果识别错误，则决策错误；
如果识别失效，则无法做出决策；

4、高级辅助驾驶系统 / L3自动驾驶系统如何使用

现阶段车路协同基础设施还在初步建设中，按照国家颁布的部门规章，没有接入车联网（车内网，车云网，车际网）的智能汽车（特斯拉，小鹏等）都无法实现真正的自动驾驶（L4）;自动驾驶只是这些公司的过分营销手段，其实他们实现的是L3级别的自动驾驶，但该级别对驾驶员的责任划分比较模糊，如果驾驶员理解不到位，容易出现交通事故，所以有些车企为了保守起见（比如蔚来），虽然装配着L3算法却一直强调汽车是处在L2阶段，强调驾驶员不能脱手；只有Tesla比较激进，把自己开发的自动驾驶系统命名为FSD-beta（Full Self-Driving 完全自动驾驶）。

因此为了安全起见，高级辅助驾驶和 L3自动驾驶都应叫做辅助驾驶系统。

控制类的辅助驾驶装置可以解放驾驶员的双脚，但是在实际驾驶中并不完全可靠，因此高级辅助驾驶系统究竟如何使用：

建议使用预警类，消息提示类的辅助驾驶装置，比如分神预警，手动变道提示等。
建议在恶劣天气下不要开启控制类的辅助驾驶装置。
建议在使用控制类的辅助驾驶装置时先通过官方了解这项技术的使用说明，而且驾驶时眼睛一定要目视前方，双手要随时准备接管方向盘。

下图中Tesla的FSD-beta系统在识别到电车下，毅然决然选择左转，还好驾驶员比较保守，及时接管了方向盘，调整了车的方向。

5、自动驾驶系统的失效判断

对于车辆的视觉感知，如果物体识别置信度小于系统预设好的阈值，则判断识别失效

1）卫星定位系统的有效性判断

对于卫星定位系统的有效性判断，宇通客车提出相应的解决方案：

首先根据卫星定位系统的定位信息确定车辆位置，根据车辆位置，确定参考线位置；
然后根据惯性定位系统的定位信息，确定一个周期的车辆位置变化信息，并结合根据卫星定位系统确定的上一周期的参考线位置，估算出当前周期的参考线位置；
最后将根据卫星定位系统确定的当前周期的参考线位置与估算出的当前周期的参考线位置进行比较，若两者的位置偏差大于第一位置偏差阈值，则确定车辆的卫星定位系统失效。

2）轨迹预测失效判断

参考【专利】检测自动驾驶系统是否失效的方法和装置 - 专利申请号：202010476010.8

a、轨迹预测、轨迹失效判断和失效原因分析的整体实现流程

假设基于单个车辆传感器信息的自动驾驶系统（局部视角）为V，该自动驾驶系统装载在智能汽车上，在本专利中是作为待检测的自动驾驶系统；而基于多个车辆传感器信息的云端自动驾驶系统（全局视角）为C，在本专利中是作为基准自动驾驶系统，目的是通过特定场景下的多个车辆信息得到可靠的轨迹预测，并检验V预测轨迹的有效性。

这里先对专利中指定数据进行必要说明：

第一数据：包括目标驾驶场景中的多个车辆的传感器采集的数据
第一轨迹信息：不可靠系统预测的轨迹信息，比如用待检测自动驾驶系统V，根据第一数据，预测得到轨迹信息；
第二轨迹信息：可靠系统通过第一数据预测的轨迹信息，或者是人工驾驶员驾驶车辆行驶时的轨迹信息，本专利使用第一种；

整体实现流程：

获取第一数据，第一数据中包括目标驾驶场景中多个车辆的传感器采集数据。
使用待检测自动驾驶系统，根据第一数据，获取第一目标车辆在目标驾驶场景中行驶时的第一轨迹信息。
使用训练好的云端自动驾驶系统，通过第一数据，预测得到目标车辆的第二轨迹信息。
根据第一轨迹信息与预设的第二轨迹信息之间的差异，检测待检测自动驾驶系统在所述目标驾驶场景中行驶时是否失效。
使用预设的神经网络，根据第一数据、第二轨迹信息和第一轨迹信息，获取待检测自动驾驶系统的失效原因。
获取云端自动驾驶系统基于目标数据输出的轨迹信息。
根据所述轨迹信息控制目标车辆行驶。

b、虚拟车运行网络系统搭建（路线推演）

在一些示例中，获取到真实车辆的传感器数据之后，可以根据这些传感器数据构建得到虚拟的驾驶场景，例如构建得到该虚拟驾驶场景的地图数据，并在该虚拟驾驶场景中生成一个或多个影子车。其中，每个影子车可以放在虚拟驾驶场景范围内的任意位置，例如可以放在与真实车辆相对应的位置上，并将虚拟车的相关数据与该虚拟车对应的实车的相关数据同步。该相关数据可以包括速度、加速度、位置、转向角等等。
可以理解的是，影子车的相关数据也可以全部或部分虚拟生成的，即不是通过与实车同步得到的。

每个影子车的生命周期可以由真实驾驶场景中采集的传感器数据决定。例如，当根据传感器数据判断出影子车对应的实车已驶出该真实驾驶场景之后，可以删除该影子车。又如，当根据传感器数据判断出真实驾驶场景中出现新的实车的情况下，可以新增该实车对应的影子车。
同一个影子车可以使用同一个软件栈独立的处理传感器数据，从而得到预测的轨迹信息。所述软件栈可以理解为神经网络模型。
第一类影子车：影子车的规控决策（例如轨迹信息）可以与其对应的真实车辆的规控决策(例如轨迹信息）实时保持一致，这类影子车称为第一类影子车（和真实场景下车辆行为一致）。
第二类影子车：影子车的规控决策（例如轨迹信息）可以与其对应的真实车辆的规控决策(例如轨迹信息）实时保持一致，但是该影子车具有决策预测能力，只是其决策不用于控制其行驶行为，这类影子车称为第二类影子车（和真实场景下车辆行为一致，但有预测能力）。
第三类影子车：影子车可以具有决策预测能力，并且该决策预测能力预测的轨迹信息实际用于指导自己的行驶行为，这类影子车可以称为第三类影子车。本实施例中的决策预测能力是指可以运行规控算法，得到规控输出的轨迹（有预测和控制能力，用于真实场景下车辆路线的推演）。

虚拟车运行网络系统中可以并行运行多个影子车，并且可以根据获取的传感器数据和地图数据选择添加或者删减影子车，以及选择添加或删减的影子车的位置或者其他特性。

本申请的虚拟车运行网络系统构建的虚拟驾驶场景的一个示例如图6所示。其中白色车辆表示该虚拟驾驶场景对应的真实场景中的实车；带斜线的车辆表示虚拟车。
其中，1号车为第一类影子车，即没有决策预测能力，且行驶行为与对应的真实车辆的行驶行为完全一致；2号车为第二类影子车，即有决策预测能力，但行驶行为与对应的真实车辆的行驶行为完全一致；3号车和4号车为第三类影子车，即既有决策预测能力，且行驶行为由自己的自动驾驶系统输出的轨迹信息决定。

c、云端自动驾驶系统的训练

模型701可以是自动驾驶系统，相应地，训练数据中可以

包括车辆的传感器在驾驶场景中采集的数据（预测轨迹信息的输入数据）
车辆在该驾驶场景中的轨迹信息（将聚类后的中心轨迹作为标签输入）

例如该传感器数据和轨迹信息可以是从使用图4所示的方法构建的虚拟车运行网络系统中采集的；执行设备向客户设备反馈的可以是自动驾驶系统预测的轨迹信息。

该专利给出的一种训练方式

该方法中，针对获取的训练数据中的轨迹信息，进行聚类处理。例如，可以使用K均值聚类算法、层次聚类算法、基于密度的聚类算法、高斯混合模型聚类算法或者均值漂移聚类算法中的任意一种对训练数据中的轨迹信息进行聚类处理，得到多类轨迹，以及得到每类轨迹的中心轨迹和概率分布。

聚类得到的轨迹类的一种示例图如下所示：

在四个车道上总共有编号从1至8的八辆车，该八辆车上的传感设备分别采集数据，并且可以将该八辆车上的传感设备分别采集的数据组合在一起，从而可以得到该驾驶场景中更宽视角的道路信息。例如，在图8所示的驾驶场景下，对车辆8在该驾驶场景下的四条轨迹进行聚类，可以得到两类轨迹，其中，长虚线表示第一类轨迹，短虚线表示第二类轨迹。
得到聚类结果之后，可以获取训练数据中每个轨迹信息所属的轨迹类的中心轨迹和概率分布，并将该中心轨迹和概率分布作为该轨迹信息对应的传感器数据的标签数据（即通过数据预处理，把类似的轨迹信息用该轨迹类的中心轨迹来表示，即贴标签）。

在训练过程中，可以将训练数据中每个传感器数据输入待训练的自动驾驶系统，自动驾驶系统预测得到轨迹信息之后，将该预测轨迹信息与各个轨迹类的中心轨迹信息相比较，计算预测轨迹信息与各个中心轨迹信息之间的距离，并根据该距离判断该预测轨迹信息属于各个轨迹类的概率，从而根据判断结构，训练自动驾驶系统。
训练后的自动驾驶系统基于传感器数据，可以输出传感器数据对应的轨迹信息为各个中心轨迹信息的概率（即预测的轨迹信息属于哪一类轨迹的置信度得分）。

结束条件设置为轨迹信息预测的准确度为98%时，说明该自动驾驶系统是可靠的，可以停止训练。

d、云端错误定位系统的训练

模型701可以是自动驾驶系统的错误定位系统，相应地，训练数据可以包括

车辆的传感器在驾驶场景中采集的数据
车辆在该驾驶场景中的轨迹信息
车辆在变换数据对应的驾驶场景中行驶的轨迹信息
模拟的自动驾驶系统的失效原因（包括感知模块的失效和融合模块的失效，每种失效类型作为一种标签）

其中，该传感器数据和轨迹信息可以是从使用图4所示的方法构建的虚拟车运行网络系统中采集的，变换数据是基于该模拟的失效原因从该传感器数据变换得到的数据。执行设备向客户设备反馈的是自动驾驶系统的失效原因。

该专利给出的一种训练方式

下面介绍本申请训练自动驾驶系统的错误定位系统的一种示例性方法。
训练错误定位系统时，首先获取训练集
- 该训练集中可以包括车辆在驾驶场景中采集的传感器数据和车辆在该驾驶场景中的轨迹信息，例如该训练集中可以包括训练自动驾驶系统时的训练数据。
- 还可以针对自动驾驶系统预设错误，例如预设自动驾驶系统的感知模块或融合模块发生错误，并基于该错误对采集的传感器数据进行变换，得到变换数据，然后基于该变换数据预测车辆的轨迹信息，例如自动驾驶系统基于该变换数据预测车辆的轨迹信息。这种情况下，训练集中还可以包括基于变换数据预测的轨迹信息和预设的错误原因。
获取到训练集后，可以使用该训练集对错误定位系统进行训练，直到结束条件得到满足，例如训练次数达到最大次数，训练时长达到最大时长，等等。

三、自动驾驶安全法规

下面这些法规涉及智能网联汽车的构建和管理：

2017.12.27 - 《国家车联网产业标准体系建设指南（智能网联汽车）》

2018.12.25 - 《车联网（智能网联汽车）产业发展行动计划》

高级辅助驾驶的安全性问题成为社会关注的焦点，老百姓对自动驾驶安全的顾虑也给这个行业发展泼了冷水，而国家通过制定安全法规，部门规章强行给自动驾驶行业续上一命。

2022.8.1 - 《深圳经济特区智能网联汽车管理条例》

这个法规给出了如下几个方面的管理细则：

道路测试和示范应用

准入和登记

使用管理

车路协同基础设施

网络安全和数据保护

交通违法和事故处理

法律责任

四、半自动驾驶系统的控制权切换探讨

需要安全员接管的驾驶系统都是半自动驾驶系统，如果未来的智能网联车能够真正实现自动驾驶，则就不存在半自动驾驶系统。

1、自动驾驶过程中控制权的归属模式

半自动驾驶系统存在自动驾驶和手动驾驶的控制分权问题，按控制类型划分成共享型和切换型：

1）切换型

切换型的意思是指同一时刻只能由自动驾驶或者驾驶员操控汽车，目前车企基本上使用这种模式。

2）共享型

共享型的意思是指同一时刻自动驾驶系统和驾驶员同时享有汽车的控制权，按权重分配的类型来划分，分为串联式共享型和并联式共享型：

串联式是指驾驶员拥有汽车的主控制权，自动驾驶系统对驾驶员操作起到修正作用；这种模式在某些高级辅助驾驶系统中比较常用，比如：
- 紧急制动系统（AEB）采用雷达测出与前车或者障碍物的距离，然后利用数据分析模块将测出的距离与警报距离、安全距离进行比较，小于警报距离时就进行警报提示，而小于安全距离时即使在驾驶员没有来得及踩制动踏板的情况下，AEB 系统也会启动，使汽车自动制动，从而为安全出行保驾护航。
- 在车辆行驶过程中，安装在车辆前部的车距传感器（雷达/摄像头）持续扫描车辆前方道路，同时轮速传感器采集车速信号。当与前车之间的距离过小时，自适应巡航系统（ACC）控制单元可以通过与制动防抱死系统、发动机控制系统协调动作，使车轮适当制动，并使发动机的输出功率下降，以使车辆与前方车辆始终保持安全距离。
并联式是指同时为驾驶员和自动驾驶系统分配不同的控制权重（这里将自动驾驶系统和驾驶员分别记为M和U），比如在L4级别下M大U小，L3级别M中U中，L2级别下M小U大。并联式共享型模式的缺点是，容易存在人机输入的冲突，因此很少有车企使用这种模式。模式冲突可以参考空客AF447空难的例子。

2、在半自动驾驶系统中对人机交互过程的优化

Note：

目的是研究在某个识别状态下（识别前车有障碍物，驾驶员处于分神状态，），究竟要采用哪种策略可以提高驾驶员的驾驶舒适性和安全性。

1）基于共享型模式的半自动驾驶系统在强化学习中的应用

对于 Reinforcement Learning approach for decision-making in driver control shifting for semi-autonomous driving | TU Delft Repositories 一文中

状态空间包括五个状态：

驾驶员状态包括注意力不集中和疲劳驾驶的状态；
车辆状态包括自动级别（L0∼L4L0 \sim L4L0∼L4，没有L1），最大级别（L0∼L4L0 \sim L4L0∼L4，没有L1），最优级别（L0∼L4L0 \sim L4L0∼L4）和建议级别（L0∼L4L0 \sim L4L0∼L4，没有L1）；
上下文状态包括是否脱离ODD（操作建模领域 Operational Design Domain) ），以及驾驶员是否在做非驾驶的活动；
时间度量状态包括4类状态：TTDU表示驾驶员从保持注意力到疲劳状态所经历的时间，TTDF表示驾驶员从疲劳到保持注意力所耗时间，TTAF表示当自动化等级变成可行等级所耗时间，主要受ODD的影响；TTA2F，TTA3F，TTA4F分别表示当前的自动化级别为L2，L3，L4；TTAU表示当自动化等级变成不可行等级所耗时间，TTA2U，TTA3U，TTA4U分别表示当前的自动化级别为L2，L3，L4。
反馈状态包括HMI人机交互界面发出的请求状态，以及驾驶员做出的响应状态。系统的动作空间包括：无需更换行动（DN），拒绝切换（RA），在驾驶员处于注意力不集中时建议转移至最佳自动化级别（SSL），在驾驶员处于疲劳时强制转换到最佳自动化级别（SL），提示驾驶员保持清醒状态（PD）。

Note：共享型模式体现在驾驶员状态和车辆状态可以同时存在；在上下文状态中，驾驶员可以做非驾驶的活动，也可以做驾驶的活动。论文中未给出这3种状态存在的约束。

系统的动作空间包括：无需更换行动（DN），拒绝切换（RA），在驾驶员处于注意力不集中时建议转移至最佳自动化级别（SSL），在驾驶员处于疲劳时强制转换到最佳自动化级别（SL），提示驾驶员保持清醒状态（PD）。

接着通过专家设计好的奖励函数，使用强化学习方法来求解多状态空间下动作的选择；作者在实验部分对模型做出的决策进行驾驶员安全性，舒适性的评估，这种安全性是起到事后预防的作用，即在识别的各种状态下，通过系统建议和驾驶员应答的方式，为驾驶员提供智能，安全和舒适的驾驶环境，而不是通过自动驾驶算法直接实现事前干预。

换句话说，该方案只能理论上通过优化人机交互的时机，提高驾驶员的驾驶舒适度，但无法解决“识别错误，决策错误；识别失效，决策失效“的问题。

2）使用时序图设计基于切换型模式的半自动驾驶系统的控制权切换过程

参考 OESDs in an on‑road study of semi‑automated vehicle to human driver handovers

还有另一种研究方法是通过构建时序图，比对驾驶员的正常操作行为和时序图中的活动序列是否匹配，通过命中率分析时序图的有效性。

人机交互思路：

询问是否开启自动驾驶或者手动驾驶模式；
在同一时刻，只有驾驶员或者自动驾驶装置一方在控制车辆行驶；

假设在搭载着自动驾驶系统的车辆中，内设基本包括：状态喇叭，仪表盘，LEDs信号灯，挡风玻璃上方投影的显示屏，中央显示屏，桌椅触觉装置。

a、车内设结构图

车辆内部环境：

挡风玻璃上方投影的显示屏：

仪表盘：

b、OESDs时序图设计

OESDs在设计时，包括环境，驾驶员，车辆，音频交互接口，仪表盘，挡风玻璃上方显示屏，中央显示屏，触觉装置多个对象（或子系统）。

图1: 当自动驾驶有效时，车辆处于手动驾驶模式的时序图（LEDs灯为橙色）
1. 环境对象提供GPS导航数据和传感器数据给车辆，车辆生成界面数据，在仪表盘，车辆上方显示屏，中央控制台上显示，车辆状态用LEDs指示灯显示。
2. 此时驾驶员收到车辆状态信息之后，可以继续执行驾驶操作；与此同时，车辆监控传感器的状态，检查该路段是否支持自动驾驶，
  - 如果不支持，则仅切换回驾驶员驾驶操作模式；
  - 如果支持，则会语音提示驾驶员“自动驾驶有效”，并在仪表盘，车辆上方显示屏，中央控制台上显示相应信息：“自动驾驶有效，现在处在手动驾驶状态”，LEDs为橙色；
  在仪表盘，车辆上方显示屏，中央控制台上还会显示“按下绿色按钮可以切换到自动驾驶模式”，并等待用户做出反应。
3. 驾驶员收到自动驾驶切换请求后，会决定是否开启自动驾驶模式。
手动驾驶模式下，驾驶员可以根据系统是否有效，决定是否要开启自动驾驶模式。
图2：车辆由手动驾驶模式切换到自动驾驶模式（LEDs灯为蓝色）
1. 驾驶员按下自动驾驶按钮（多个）之后，车辆系统会检查这些按钮是否按下，如果按下，车辆的自动驾驶仪会开启，语音提示“自动驾驶已激活”，并在仪表盘，车辆上方显示屏，中央控制台上显示“自动驾驶已激活”。
2. 由于投屏、语音提示和自动驾驶仪开启是异步的，因此待自动驾驶仪开启之后，语音会提示“自动驾驶已开启”，并在仪表盘，车辆上方显示屏，中央控制台上显示“自动驾驶已开启”，LEDs为蓝色。
3. 驾驶员获取到车辆的模式信息后，车辆会自动地监控传感器对外部环境的感知情况，并判断当前传感器是否支持自动驾驶，如果支持，自动驾驶仪继续工作，车辆系统继续感知环境变化。
Note：自动驾驶模式开启，自动驾驶系统在不脱离的情况下持续工作着。
图3：车辆在自动驾驶模式下准备切换至手动驾驶模式（LEDs灯为蓝色）
1. 如果图2中检测到传感器不支持自动驾驶，则语音会提示“已准备切换至手动驾驶”，并在仪表盘，车辆上方显示屏，中央控制台上显示该信息。此时LEDs提示灯为蓝色，触觉模块会激活。此时自动驾驶系统并不会马上脱离控制（不会马上失效，可能是多个传感器中有一个失效了，但对整体的影响不是很严重）。
2. 驾驶员收到“已准备切换至手动驾驶”信息时，会放下手头的工作，调整自己的驾驶姿势，此时车辆会设计几个问题（类似验证码）来提高驾驶员的注意力（比如现在车速是多少，处在哪个车道，前方车辆是什么颜色等），如果驾驶员问题回答错误，则会被要求回答第二次，当所有的问题回答完之后，才可以准备切换到人工驾驶模式。
图4：车辆从自动驾驶模式下切换到手动驾驶模式（LEDs灯为蓝色）
1. 车辆系统会生成控制转换信息，并语音提示"此时可切换至手动驾驶模式"，在仪表盘，车辆上方显示屏，中央控制台上显示该信息。
2. 驾驶员收到“切换”提示时，会查看可视化面板上是否有提示信息
  - 如果没有会让车辆重新生成提示信息；
  - 如果有，驾驶员则可以按下手动驾驶切换按钮，车辆会检测驾驶员是否按下手动驾驶按钮，如果检测到，则切换到手动驾驶模式。
  Note：在点击按钮时需要确定你现在所处的状态，比如你未答题时，手动点击按钮是没有激活的。
图5：车辆切回手动驾驶模式（LEDs灯为橙色）
1. 车辆将控制权交给驾驶员，此时环境会提供GPS导航数据和传感器数据，车辆会生成界面数据，语音会提示自动驾驶未激活，在仪表盘，车辆上方显示屏，中央控制台上显示该信息。
2. 语音会提示处在人工驾驶模式，在仪表盘，车辆上方显示屏，中央控制台上显示该信息。

c、OESDs实验评估

Note：

评估人工设计的OESDs时序图是否符合驾驶员的直观理解，是否可以提高驾驶舒适度

对OESDs时序图有效性进行评估，主要是通过计算OESDs的路径以及实际情况下驾驶员的操作顺序，计算假阳性（FP，FA），假阴性（FN，Miss），真阳性（TP，Hit），真阴性（TN，CR），验证OESDs设计的流程图是否符合人的直观理解和驾驶体验。

这里列举了15个活动（所列举的活动都为正例）
1. 驾驶员收到“准备切换“的信息
2. 驾驶员调整坐姿，恢复驾驶位置
3. 收到SA1问题
4. 回答SA1问题
5. 收到SA2问题
6. 回答SA2问题
7. 收到SA3问题
8. 回答SA3问题
9. 收到SA4问题
10. 回答SA4问题
11. 收到SA5问题
12. 回答SA5问题
13. 收到“正在自动驾驶”信息
14. 收到切换过程中的过渡信息
15. 按下手动驾驶按钮

通过如下指标来验证：

Hit Rate：Hits ∕ (Hits + Misses)，即真阳率：TP / (TP + FN）越高越好
False Alarm Rate = False Alarms ∕ (False Alarms + Correction Rejections)，即假阳率：FP / (FP + TN)（越低越好）
先绘制混淆矩阵，接着使用Kappa系数进行一致性校验，计算的Kappa系数为0.781∈[0.610.80]0.781 \in [0.61~0.80]0.781∈[0.61 0.80]，OESDs和观测到的驾驶员正常驾驶活动具有高度一致性。 kappa系数
使用马修斯相关系数评估观测行为和OESDs 的相关性。

实验结果表明：

对于第22个受试者，相关性较差，主要原因是该受试者直接手动控制车辆，切断了驾驶模式从自动驾驶到手动驾驶的切换，没有完成相应的问答操作。但总体上，马修斯相关系数均>0.8（除了第2/22个受试者操作不当），即OESDs设计的流程图符合驾驶员的直观理解，可以带给驾驶员舒适感和安全感。

Note：

在半自动驾驶系统决策过程的优化中，我更看好专家设计好的时序图，因为它的设计思路是“自动驾驶系统有效时，提示可以切换；在自动驾驶系统失效时，通过回答问题来提高驾驶员注意力，问题回答完毕之后，即可提示手动切换”；

而强化学习作为一种策略选择的手段，有研究者们发现基于深度强化学习的半自动驾驶决策过程优化，低于决策树模型（参考 Optimizing driving entity switching of semi-automated vehicles under automation degradation）；在自动驾驶系统中，使用强化学习进行车辆轨迹预测，在安全性的提高上高于使用强化学习对人机交互活动的预测。因此对于人机交互活动的流程设计，专家设计好的时序图比强化学习给出的策略更好。

五、我的看法

对于高级辅助驾驶系统和自动驾驶系统的区别，如果当从L2，L3的概念入手，理解起来比较模糊，现在有以下两种解释：
- 一种是从硬件和软件层面来解释的：可以简单理解成前者使用传感器数据，使用信号处理的手段来感知周围环境；而后者可以理解成使用传感器数据，使用计算机视觉技术来实现周围环境感知。
- 另一种是从通信层面来解释的：可以理解成自动驾驶系统是指在硬件上配备了各种传感器的智能汽车，这些智能汽车在通信层面上与道路交通进行交互，完成车路协同；而高级辅助驾驶系统只不过是自动驾驶在硬件层面上的要求。
在半自动驾驶系统中，在对人机交互过程进行优化时，专家设计好的时序图比强化学习给出的策略具有更好的确定性，驾驶员能够获得更好的驾驶安全性和舒适性。
在未来，红绿灯、路口、车道、隔离栏、灯柱等都预装好了电子设备，各项传感器能够将感知到的环境数据接入到大数据中心，未来城市将发展成为万物均可感知，可运营，可管控和可服务的城市，智能汽车配备作为智能终端接入到车联网中，通过与道路各种传感器以及其他汽车的交互，真正解放人力的自动驾驶才会成为可能。
随着激光雷达等硬件设备在技术上的升级和成本上的控制，以及车联网的全覆盖、智慧交通项目的加速推进，自动驾驶应该会成为可能，我们要对这个行业有信心。