点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

当前量产的自动驾驶系统设计方案中基本采用了多雷达、少摄像头方案进行，主要是考虑到其中的自动驾驶芯片算力因素。而仅靠多雷达的探测方案往往不能满足性能需求，比如对于一些道路环境目标类型（如车辆类型、车道线），细节化的环境探测（如标志牌、车道小目标）等都必须依靠摄像头进行有效探测。在下一代自动驾驶系统中，我们对中央域控制器的设计已经能够完全覆盖住其整体运算过程对于芯片的算力、带宽等要求后，我们的目标就是实现多摄像头全覆盖以实现对环境的全方位无死角探测能力，其相应的摄像头搭载方案也需要进行完备的设计。本文针对下一代自动驾驶系统关于摄像头传感搭载设计方案、软件信息处理方案及性能指标设计方案将进行详细的阐述，旨在为读者提供关于摄像头方案的详细说明。

背景概述

从硬件架构上讲，当前宣布量产的自动驾驶系统方案大多数采用了5R1V1D的架构（除像特斯拉一系列的摄像头派），即前方探测依靠一颗单摄像头和一颗毫米波雷达进行，其主要探测目标类型包括车辆、本车道线；侧方探测依靠4颗毫米波雷达进行，侧方的主要探测目标类型包括车辆目标。而这样的搭载方式针对以下几个比较容易出现的极端场景，很多时候会出现失效：

1、前方目标探测：

由于前方探测过程采用了基本都是一致性的目标图像输出，通俗的讲，很多情况下都是无法变换图像大小的探测类型，这就导致当图像分辨率过低时，其探测距离不足，无法提前针对远距离小目标进行探测；而图像分辨率过高时，其探测的FOV不足，无法及时的对方便车道突然切入的目标进行反应。

2、侧方目标探测：

侧方探测中，当前采用的毫米波雷达技术主要是应用在自动变道上，原理也很简单，主要是毫米波雷达依靠了车辆目标的反射点进行。这里我们需要澄清一点，侧角雷达对于车辆目标的探测通常只能保证其探测到相邻车道的车辆目标，而对于第三车道的车辆目标的探测几乎是束手无策的，这一过程对自动驾驶带来的潜在危险影响也是比较巨大的。比如当自车在从当前车道切入到第二车道，而第三车道同时有车切入第二车道时，如果本车道车辆无法对该切入车辆进行有效检测，其结果就是导致两车很可能相撞。

此外，侧方雷达无法实现对侧方车道线的有效探测，无法弥补由于前视摄像头探测局限所带来的盲区，也无法为侧向融合的Freespace提供支撑。

摄像头方案基础架构

如下图表示了下一代自动驾驶系统方案基础架构。其关键要素中，图像处理Soc部分主要涵盖了对摄像头图像的传感输入图像处理ISP及目标融合，当然雷达或激光雷达也可以将原始数据作为输入信息进行目标输入。而逻辑控制单元MCU负责处理Soc的目标融合结果，并输入至运动规划及决策控制模型单元进行处理，其处理的结果用于生成车辆控制指令，控制车辆的横纵向运动。

如下图表示了下一代自动驾驶系统中仅摄像头搭载方案中典型传感器架构图，相应的传感搭载性能说明如下。

除开以上基本指标外，摄像头的图像分辨率和帧率也是需要重点考虑的。在解决了自动驾驶中央控制器的算力和带宽问题后，摄像头图像分辨率尽量越大越好，且考虑到车辆驾驶过程中需要具体解决的场景问题，一般是前向探测过程分辨率越大越好，当前主推的前视摄像头探测分辨率为800万像素。侧视摄像头探测的目标一般是侧方车道目标，侧方车道的场景匹配库中一般针对自动驾驶安全驾驶的场景较少，同时对于其侧方探测距离也比前方探测要求更近，因此侧方探测的分辨率要求可以稍比前视低一些，推荐一般采用200万像素的摄像头即可满足要求。当然如果不考虑成本和处理效率，也可以参照前视摄像头方案进行传感器搭载。

图像处理软件架构Soc

对于图像处理软件模型而言，主要放在Soc芯片中进行。其中的软件模块主要包括图像信号处理ISP、神经网络单元NPU、中央处理器CPU、编解码单元CODEC、MIPI接口输出、逻辑运算MCU接口输出。

其中两个最耗费算力的计算单元包括图像信号处理ISP及神经网络单元优化NPU。

以上优化的结果一方面是生成图像基础信息结果，通过输入给中央处理单元CPU进行综合信息处理分配。一方面应用于编解码单元CODEC，进行解码后的图像通过MIPI接口输出至视频娱乐影音系统进行显示，同时进行环境语义解析后的结果输入至ADAS逻辑控制单元MCU，该模块可以通过与其他环境信息数据源（如毫米波雷达、激光雷达、全景摄像头、超声波雷达等）进行信息融合后生成环境融合数据，并最终用于车辆的功能应用控制。

当然如果考虑到智能行车辅助控制会有部分信息输入给其他智能控制单元进行信息融合，则需要将生成的结果通过以太网输入到网关，由网关进行转发后输入至其他单元，比如智能泊车系统、人机交互显示系统等。

另外，如果考虑自动驾驶过程的事故追溯，通常会考虑将Soc处理的信息部分输入至存储卡，或者直接通过TBox上传至云端或后台监控。

摄像头硬件模组设计需求

在传统的环视方案中感知本车周边环境是采用大于 180°FOV 的鱼眼相机实现的。随着 L3平台在业界的开发、推广，很多厂商也尝试推广基于环视鱼眼相机的侧视和后视感知方案。一般情况下环视鱼眼相机方案无法达到真正的 L3 +自动驾驶平台的要求。主要原因如下：

• 传统环视相机的安装位置主要是为了提供前、后、左、右 5-10 米的直观视觉，而L3 自动驾驶所关注的左前、右前、左后、右后的位置属于相机图像拼接范围，感知精度受拼接影响；

• 环视相机对远距离和贴近本车的物体的图像造成比较大的变形，在原图中很难准确预测物体的 3D 姿态、大小、和运动轨迹。在矫正的图中因为形变，感知精度降低；

• 环视相机一般为感知近距离路面，安装的 pitch 角度偏低。

因此，具备L3+级自动驾驶的摄像头硬件模组爆炸图如下，相应的性能设计中主要考虑如下因素：图像传输方式、输出分辨率、帧频、信噪比、动态范围、曝光控制、增益控制、白平衡、最低照度、镜头材质、镜头光学畸变、模组景深、模组视场角、额定工作电流、工作温度、存储温度、防护等级、外形尺寸、重量、功能安全等级、接插件/线束阻抗等。

相机的安装位置和相机的配置很大程度上决定了视觉感知的范围和精度。基于对目前运行设计域（ODD）的理解，侧视相机配置除了必须达到车规标准的信噪比，低光照的性能以外，还需要满足以下参数要求：

视觉信息从光学镜头输入，经过多个环节处理，到最终感知算法检测结果，受许多线性和非线性的因素影响，目前业界并没有一个统一的公式表述相机配置与最终检测结果。为了概念化的说明相机配置中主要考虑方法。下面是在一款相机在典型场景下的传感器像素输出，与被识别目标种类、距离的关系图表：

侧视相机安装位置和感知范围（俯视）

此外，针对摄像头布置位置而言，主要关注的点包含防水防尘等级以及其探测范围内是否有可遮挡其探测的部分。由此，前视摄像头一般参照之前的布置位置将其放在内后视镜附近，通过一定的支架将其扣在其内部，总体来讲其布置方式并不复杂。而对于侧视摄像头来说，由于一般需要布置在车辆侧方位，一般可布置的位置是参照全景摄像头的布置位置，放在外后视镜下方，甚至专用翼子板附近。这就对摄像头本身硬件模组的大小、尺寸、重量等提出了新的要求。一个基本的典型相机安装方案草案，推荐的安装位置如下：

基于目前已知信息，以及相关开发中的一些经验，视角交叉可以保证以相对窄角的相机同时有效覆盖本车车身近距离和远距离。侧前和侧后的功能略有不同，侧前侧场景检测。安装位置和 Pitch 角度可偏高，FOV 略宽，侧后主要是检测远后、近后临近车道的车辆，用于高速入口并线、本车换线。Pitch 角度可偏低，yawn 角度更接近与本车中线平行，FOV 略窄。具体参数可能在设计过程中需要调整。

总结

下一代自动驾驶系统对于传感器的要求进一步提高，主要体现在摄像头感知系统上。其中，主要需要考虑的是自动驾驶域控制器算力、带宽等是否能够完全满足摄像头传感器的要求。此外，摄像头基本参数，如探测范围、角度、分辨率、帧率等基本要素也是需要重点考虑的内容。就其硬件本身而言，其设置模组相关内容需要重点考虑其信噪比、发热量、大小、尺寸、防水防尘等要素，旨在保证其布置位置能够满足其探测性能要求。最后，针对新型摄像头探测能力而言，其对环境检测结果效能存在较大的飞跃，比如全面提升车道线C0、C1、C2、C3精度，为LKA、LCC等通过更大曲率弯道提供支撑。提升左右各个相邻车道的识别距离和识别角度，为变道的路径规划提供更远更精确的输入等等。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~