【自动驾驶】自动驾驶和手动驾驶的平滑切换控制方案探讨

文章目录

【自动驾驶】自动驾驶和手动驾驶的平滑切换控制方案探讨
- 一、自动驾驶过程中控制权归属问题（切换型和共享型）
- 二、强化学习在半自动驾驶系统中的应用（共享型）
- - 1、论文中的人机交互思路
  - 2、论文简要介绍
  - 3、论文存在的问题
- 三、为什么要考虑半自动驾驶系统中人机控制权的切换（自动系统会失效）
- 四、切换型共驾系统的OESDs设计（切换型）
- - 1、该论文的人机交互思路
  - 2、论文简要介绍
  - - 1）车内设结构图
    - 2）OESDs时序图设计
    - 3）OESDs实验评估
- 五、引入疲劳状态的OESDs的设计（切换型和共享型）
- - 1、人机交互思路
  - 2、上述OESDs存在的问题
  - 3、引入疲劳状态的OESDs改进

一、自动驾驶过程中控制权归属问题（切换型和共享型）

参考自动驾驶的控制过程还需要解决哪些规控问题

根据控制权分配方式的不同，人机共驾系统可以分为切换型和共享型人机共驾两种模式，在切换型人机共驾系统中，驾驶权被分时赋予驾驶人或机器（常应用在自适应巡航系统和自动驾驶系统），在共享型人机共驾系统中，驾驶权按照一定的权重被同时分配给驾驶人和机器。

在共享型人机共驾系统中，驾驶人和机器同时占有车辆的控制权，两者通过操纵机构进行交互和耦合，任何一方均可实现实时地控制车辆。双方共同驾驶过程类似于一场博弈，各方会根据自身的目标和对方的行为形成最优的控制输入，以期望在控制权共享的情况下最大化的实现自身目标。

按照驾驶人和机器控制结合方式的不同，该模式可以分别为串联式共享型人机共驾和并联式共享型人机共驾。

串联式共享型人机共驾系统示意图，机器不直接对操纵输入端（踏板、转向）进行控制。仅对按照一定的比例进行叠加或修正，达到驾驶人和机器同时控制车辆的效果（常应用在L2级别的车道保持系统）。

该模式的优点包括：驾驶人和机器之间在车辆控制过程中不存在交互和耦合，车辆控制过程明确清晰；驾驶方式改变较小，驾驶人适应性好。

而它的缺点主要是在驾驶权切换过程中，难以保证驾驶人具有良好的工作状态。在机器驾驶过程中，驾驶人注意力可能已经分散，当控制权被切换到驾驶人时，需要驾驶人集中注意力，重新形成对周围驾驶环境的感知。这一过程存在较大的不确定性，制约了控制权的自由切换。
并联式共享型人机共驾系统示意图如下，驾驶员和机器的控制同时直接施加到操纵输入端 ，系统通过调节控制权系数K实现人机耦合优化。实际控制输入可用以下公式表示：

U=UhK+Um(1−K)U=U_hK+U_m(1-K) U=UhK+Um(1−K)

K为控制权分配系数，UhU_hUh为驾驶人输入，UmU_mUm为机器输入，UUU为系统实际输入。

如上并联式共享人机共驾系统优点包括：驾驶人始终参与驾驶过程，可以保证驾驶人状态的一致性；操纵过程中存在人机交互、便于驾驶人掌握机器状态，该模式的缺点主要在于驾驶人和机器易于形成冲突。

模式冲突可以参考空客AF447空难的例子，主要是由于空客飞机操纵杆可以两边同时操纵，一方的拉杆的输入可以抵消另一方的拉杆操作，在飞机高速下坠时，机组主副驾驶员沟通不当导致操作失误，两人同时拉杆，飞机无法上升，造成空难。

二、强化学习在半自动驾驶系统中的应用（共享型）

论文链接：Reinforcement Learning approach for decision-making in driver control shifting for semi-autonomous driving | TU Delft Repositories

1、论文中的人机交互思路

询问驾驶员是否开启当前级别的自动驾驶模式

驾驶员和自动驾驶装置同时控制车辆行驶，控制过程不是很明确。

但对于共享型共驾系统可能会存在问题，自动驾驶级别在L2，L3，L4时，驾驶员所要求的注意力是不同的：L2时驾驶员需要保持高注意力、L3时驾驶员需要保持中注意力、L4时驾驶员需要保持低注意力，并不存在自动驾驶模式切换到手动驾驶模式的过程，因此该模式下驾驶员的驾驶舒适性主要受自动驾驶系统的自动级别的影响。

2、论文简要介绍

状态空间包括五个状态：驾驶员的状态包括没有集中注意力和疲劳驾驶的状态；车辆状态包括自动级别（L0 ∼\sim∼ L4，没有L1），最大级别（L0 ∼\sim∼ L4，没有L1），最优级别（L0 ∼\sim∼ L4）和建议级别（L0 ∼\sim∼ L4，没有L1）；上下文状态包括是否脱离ODD（操作建模领域 Operational Design Domain) ），以及驾驶员是否在做非驾驶的活动；时间度量状态包括4类状态：TTDU表示驾驶员从保持注意力到疲劳状态所经历的时间，TTDF表示驾驶员从疲劳到保持注意力所耗时间，TTAF表示当自动化等级变成可行等级所耗时间，主要受ODD的影响；TTA2F，TTA3F，TTA4F分别表示当前的自动化级别为L2，L3，L4；TTAU表示当自动化等级变成不可行等级所耗时间，TTA2U，TTA3U，TTA4U分别表示当前的自动化级别为L2，L3，L4。反馈状态包括HMI人机交互界面发出的请求状态，以及驾驶员做出的响应状态。

系统的动作空间包括：无需更换行动（DN），拒绝切换（RA），在驾驶员处于注意力不集中时建议转移至最佳自动化级别（SSL），在驾驶员处于疲劳时强制转换到最佳自动化级别（SL），提示驾驶员保持清醒状态（PD）。

专家设计的奖励函数为：

决策树模型为：

对于决策树模型，在决策过程中，以Driver请求是否改变作为起始状态，接着依次判断Driver状态和自动驾驶的级别，并在动作空间中选择相应动作（制动，不需要改变自动驾驶模式的级别，调整自动驾驶模式的级别）。

对于该问题的求解，论文中先建立马尔可夫决策过程，接着使用常见的强化学习模型（DQN，A3C），通过观测到的5种类型的状态，在动作空间中选择某一个动作进行决策。MDP的设计过程参考原论文。

3、论文存在的问题

上论文考虑的是共享型人机共驾系统，即驾驶员和机器可以同时对车辆进行控制（输入端同时介入或者以驾驶员输入为主、自动驾驶作为修正，但我觉得上文的人机共驾系统应该是并联共享型的，因为当自动驾驶级别为L4时，机器自动驾驶能力会高于驾驶员，因此使用人机控制权系数较为合适）

上论文的目的是研究在驾驶员和车辆自动化等级处在不同状态下时，通过人机交互完成自动驾驶系统级别的切换问题，即重新分配人机控制权系数。但是该模式下最大的缺点是驾驶员和机器操作易发生冲突，比如驾驶员想进左车道，L4级别的机器想进右车道，这样两动作可能会抵消掉。

三、为什么要考虑半自动驾驶系统中人机控制权的切换（自动系统会失效）

Q1：当自动驾驶级别能达到L2，L3，L4的时候，为什么还要切换到手动驾驶呢？

A1：主要原因有两个：

一是自动驾驶级别不可能一直保持在L4级别，系统会有失效脱离的时候，因此此时机器的控制能力降低，需要加大驾驶员对车辆的控制权，保证行车安全。

二是自动驾驶级别在L2时，系统对车辆的控制水平可能比不上驾驶员，用户需要和驾驶系统进行博弈，得到最优的操作方案，实现车辆的控制优化。

Q2：如果自动驾驶系统足够有效可靠的话，当自动驾驶级别能达到L4的时候，为什么还要手动驾驶。

A2：这也许是用户的需求吧，有些驾驶员习惯手动驾驶，不愿意把自己的生命托付给人工智能来守护，因此当他们处于疲劳驾驶时，车辆可以进行报警提醒，并通过自动化设备完成辅助驾驶或者是车辆轨迹修正，增大了驾驶员的行车安全。

四、切换型共驾系统的OESDs设计（切换型）

论文链接： OESDs in an on‑road study of semi‑automated vehicle to human driver handovers

1、该论文的人机交互思路

询问是否开启自动驾驶或者手动驾驶模式；

在同一时刻，只有驾驶员或者自动驾驶装置一方在控制车辆行驶，控制过程明确；

上面提到了半自动驾驶系统中人机控制权交换的原因，如果控制权交换时机不当，会影响驾驶员的驾驶体验，严重的话会因为切换到手动驾驶模式时驾驶员注意力不集中，或者存在人机操作模式混淆导致事故发生（共享型共驾系统）。因此本文通过时序图（OESDs），在基于切换型自动驾驶系统基础上，去设置模式切换的时机和人机交互的过程。

2、论文简要介绍

假设在搭载着自动驾驶系统的车辆中，内设基本包括：状态喇叭，仪表盘，LEDs信号灯，挡风玻璃上方投影的显示屏，中央显示屏，桌椅触觉装置。

1）车内设结构图

车辆内部环境：

挡风玻璃上方投影的显示屏：

仪表盘：

2）OESDs时序图设计

OESDs在设计时，包括环境，驾驶员，车辆，音频交互接口，仪表盘，挡风玻璃上方显示屏，中央显示屏，触觉装置多个对象（或子系统）。

图1: 当自动驾驶有效时，车辆处于手动驾驶模式的时序图（LEDs灯为橙色）
1. 环境对象提供GPS导航数据和传感器数据给车辆，车辆生成界面数据，在仪表盘，车辆上方显示屏，中央控制台上显示，车辆状态用LEDs指示灯显示。
2. 此时驾驶员收到车辆状态信息之后，可以执行驾驶操作；与此同时，车辆监控传感器的状态，检查该路段是否支持自动驾驶，
  - 如果不支持，则仅切换回驾驶员驾驶操作模式；
  - 如果支持，则会语音提示驾驶员“自动驾驶有效”，并在仪表盘，车辆上方显示屏，中央控制台上显示相应信息：“自动驾驶有效，现在处在手动驾驶状态”，LEDs为橙色；
  在仪表盘，车辆上方显示屏，中央控制台上还会显示“按下绿色按钮可以切换到自动驾驶模式”，并等待用户做出反应。
3. 驾驶员收到自动驾驶切换请求后，会决定是否开启自动驾驶模式。
手动驾驶模式下，驾驶员可以根据系统是否有效，决定是否要开启自动驾驶模式。
图2：车辆由手动驾驶模式切换到自动驾驶模式（LEDs灯为蓝色）
1. 驾驶员按下自动驾驶按钮（多个）之后，车辆系统会检查这些按钮是否按下，如果按下，车辆的自动驾驶仪会开启，语音提示“自动驾驶已激活”，并在仪表盘，车辆上方显示屏，中央控制台上显示“自动驾驶已激活”。
2. 由于投屏、语音提示和自动驾驶仪开启是异步的，因此待自动驾驶仪开启之后，语音会提示“自动驾驶已开启”，并在仪表盘，车辆上方显示屏，中央控制台上显示“自动驾驶已开启”，LEDs为蓝色。
3. 驾驶员获取到车辆的模式信息后，车辆会自动地监控传感器对外部环境的感知情况，并判断当前传感器是否支持自动驾驶，如果支持，自动驾驶仪继续工作，车辆系统继续感知环境变化。
Note：自动驾驶模式开启，自动驾驶系统在不脱离的情况下持续工作着。
图3：车辆在自动驾驶模式下准备切换至手动驾驶模式（LEDs灯为蓝色）
1. 如果图2中检测到传感器不支持自动驾驶，则语音会提示“已准备切换至手动驾驶”，并在仪表盘，车辆上方显示屏，中央控制台上显示该信息。此时LEDs提示灯为蓝色，触觉模块会激活。此时自动驾驶系统并不会马上脱离控制（不会马上失效，可能是多个传感器中有一个失效了，但对整体的影响不是很严重）。
2. 驾驶员收到“已准备切换至手动驾驶”信息时，会放下手头的工作，调整自己的驾驶姿势，此时车辆会设计几个问题（类似验证码）来提高驾驶员的注意力（比如现在车速是多少，处在哪个车道，前方车辆是什么颜色等），如果驾驶员问题回答错误，则会被要求回答第二次，当所有的问题回答完之后，才可以准备切换到人工驾驶模式。
图4：车辆从自动驾驶模式下切换到手动驾驶模式（LEDs灯为蓝色）
1. 车辆系统会生成控制转换信息，并语音提示"此时可切换至手动驾驶模式"，在仪表盘，车辆上方显示屏，中央控制台上显示该信息。
2. 驾驶员收到“切换”提示时，会查看可视化面板上是否有提示信息
  - 如果没有会让车辆重新生成提示信息；
  - 如果有，驾驶员则可以按下手动驾驶切换按钮，车辆会检测驾驶员是否按下手动驾驶按钮，如果检测到，则切换到手动驾驶模式。
  Note：在点击按钮时需要确定你现在所处的状态，比如你未答题时，手动点击按钮是没有激活的。
图5：车辆切回手动驾驶模式（LEDs灯为橙色）
1. 车辆将控制权交给驾驶员，此时环境会提供GPS导航数据和传感器数据，车辆会生成界面数据，语音会提示自动驾驶未激活，在仪表盘，车辆上方显示屏，中央控制台上显示该信息。
2. 语音会提示处在人工驾驶模式，在仪表盘，车辆上方显示屏，中央控制台上显示该信息。

3）OESDs实验评估

Note：

该实验的目的是评估人工设计的OESDs时序图是否符合驾驶员的直观理解，是否可以提高驾驶舒适度。

对OESDs时序图有效性进行评估，主要是通过计算OESDs的路径以及实际情况下驾驶员的操作顺序，计算假阳性（FP，FA），假阴性（FN，Miss），真阳性（TP，Hit），真阴性（TN，CR），验证OESDs设计的流程图是否符合人的直观理解和驾驶体验。

这里列举了15个活动（所列举的活动都为正例）
1. 驾驶员收到“准备切换“的信息
2. 驾驶员调整坐姿，恢复驾驶位置
3. 收到SA1问题
4. 回答SA1问题
5. 收到SA2问题
6. 回答SA2问题
7. 收到SA3问题
8. 回答SA3问题
9. 收到SA4问题
10. 回答SA4问题
11. 收到SA5问题
12. 回答SA5问题
13. 收到“正在自动驾驶”信息
14. 收到切换过程中的过渡信息
15. 按下手动驾驶按钮

通过如下指标来验证：

Hit Rate：Hits ∕ (Hits + Misses)，即真阳率：TP / (TP + FN）越高越好
False Alarm Rate = False Alarms ∕ (False Alarms + Correction Rejections)，即假阳率：FP / (FP + TN)（越低越好）
先绘制混淆矩阵，接着使用Kappa系数进行一致性校验，计算的Kappa系数为0.781∈[0.610.80]0.781 \in [0.61~0.80]0.781∈[0.61 0.80]，OESDs和观测到的驾驶员正常驾驶活动具有高度一致性。 kappa系数
使用马修斯相关系数评估观测行为和OESDs 的相关性。

实验结果表明：

对于第22个受试者，相关性较差，主要原因是该受试者直接手动控制车辆，切断了驾驶模式从自动驾驶到手动驾驶的切换，没有完成相应的问答操作。但总体上，马修斯相关系数均>0.8（除了第2/22个受试者操作不当），即OESDs设计的流程图符合驾驶员的直观理解，可以带给驾驶员舒适感和安全感。

五、引入疲劳状态的OESDs的设计（切换型和共享型）

1、人机交互思路

在非疲劳阶段，自动驾驶系统不会介入驾驶员行车控制
在早期疲劳阶段，车辆会有预警，自动驾驶系统会对驾驶员的行车轨迹进行修正（串联共享型）
在后期疲劳阶段，车辆会有预警，如果自动驾驶系统可用的话，会获得更高的车辆控制权限（并联共享型）；如果不可用，则自动驾驶系统会开启制动措施。

该模式下的自动驾驶模型适合于习惯手动驾驶的用户；对于驾驶舒适性上，疲劳检测起到了关键作用，如果检测效果差，驾驶舒适性会大打折扣。

2、上述OESDs存在的问题

上面的OESDs是针对驾驶员清醒情况下对手动驾驶和自动驾驶模式的切换

在自动驾驶开启阶段后，每2min会通过30s的问答题的方式确认驾驶员的注意力情况，在自动驾驶模式到手动驾驶模式切换过程中，只有当驾驶员保持高专注度，并按下手动驾驶按钮时，车辆才会将控制权交给驾驶员。
在手动驾驶阶段，每1min自动驾驶系统会向驾驶员提供”自动驾驶系统在该路况下是否可以开启”的信息。

对于上述OESDs的设计，模式切换的信息提示功能和驾驶员注意力确认功能，满足了驾驶员或者自动驾驶系统，在保证行车安全的情况下单方面获得车辆的行驶控制权，车辆在每一时刻的控制权是明确的，不存在驾驶员和自动驾驶系统的输入冲突。

以上情况并没有考虑到那些习惯手动驾驶、不愿意开启自动驾驶的人群，没有考虑到驾驶员处于分神或疲劳时无法及时手动切换自动驾驶模式的情况。

3、引入疲劳状态的OESDs改进

对于这样的人群，我们可以考虑串联式共享型共驾系统，发挥自动驾驶装置的功能。

疲劳检测系统在检测到驾驶员早期疲劳时，音频设备、显示设备和指示灯会提示驾驶员处于早期疲劳状态，自动驾驶模块可以低程度地介入车辆的控制，修正行车轨迹；
- 时序图如下：
在检测到驾驶员后期疲劳时，音频设备、显示设备和指示灯会提示驾驶员处于后期疲劳状态，自动驾驶模块可以获得更高的车辆控制权限，接管驾驶员负责车辆的主要驾驶任务；如果自动驾驶模块在当前路况上失效，则会采取车辆制动措施。
- 时序图如下：

因此这里在切换型共驾系统的OESDs设计的基础上，引入了早期疲劳和后期疲劳，利用自动驾驶模块辅助驾驶员行车安全，关于早期疲劳和后期疲劳的时序图如上图所示。对于模型的有效性还需要实验论证。