【多传感器融合理论】01自动驾驶中常用传感器硬件介绍

摄像头介绍

优势：

工作原理：

应用：

性能要求：

优缺点对比分析

摄像头关键参数：

激光雷达介绍：

工作原理：

激光雷达特性：

激光雷达的分类：

应用：

毫米波雷达介绍

概述

工作原理

基本结构

应用

性能参数

惯性传感器

工作原理

IMU特性

影响因素

应用

GNSS与RTK介绍

概述

应用

超声波雷达

概述

工作原理

超声波雷达类型

超声波雷达的优劣势

应用：

摄像头介绍

优势：

可以识别车辆周边的环境信息和纹理信息，能够“看到”目标的类型、信号灯的颜色，类似于人类的眼睛。

工作原理：

光学组件（光信号）--> 图像传感器（电信号）--> 数字图像信号 --> 信号算法处理。

摄像头获取到数字信号后，通过串行器进行编码，通过LVDS（FPD和GMSL）或其他高效链路，传输到计算平台，解串器进行解码，计算单元进行图像分析。

光学组件：（镜头组件，lens）由镜片、滤光片、保护膜组成。

CMOS图像传感器（感光元件，CIS）：是模拟电路和数字电路的集成，是摄像头最基础、最重要的模块，由四部分构成：微透镜，彩色滤光片（CF），光电二极管（PD），光电转换器件，像素设计。

应用：

根据安装位置，分为前视、侧视、后视、内置、环视摄像头。

前视摄像头：障碍物、车道线、路沿线、交通信号灯、交通标识牌、可行使区域；

侧视摄像头：障碍物、距离等盲区监测（BSD）；

后视摄像头：障碍物、距离；

环视摄像头：车位监测，可行使区域监测，低速感知，提供车辆四周360°的画面；

内置摄像头：疲劳，不规范驾驶等危险行为预警；

性能要求：

耐高温：-40~85°，能适应剧烈温度变化；

抗震性；防水性；使用寿命：至少10年；高动态低噪点：高动态性；光线较暗下抑制噪点的产生；

优缺点对比分析

优势：

相比于毫米波雷达：能够对目标类别进行准确识别，对车道线、红绿灯、交通标志准确识别；对横向移动目标有很强的探测能力。

相比于激光雷达：成本低，精准交通标识和信号灯识别；

劣势：

摄像头受天气、光照影响比较大，极端恶劣天气下视觉传感器就会失效；

视觉测距、测速性能远比不上激光雷达和毫米波雷达；

摄像头关键参数：

焦距：指平行光从透镜中心到光聚的焦点的距离，如4mm,6mm,12mm;

有效的探测距离：如近距，中距，远距等对应不同探测距离需求；

视场角：水平视场角（HFOV）和垂直视场角（VFOV）；

分辨率大小：200W（1920x1080），500W（2560x2048）,800W（3200x2400）;

最低照度：CMOS对环境光线的敏感程度;

信噪比：输出的信号电压和噪声电压的比值;

动态范围：正常显示细节的最亮和最暗物体的亮度值所包含的那个区间;

激光雷达介绍：

概述：

激光雷达(Lidar)，全称Laser Detecting and Ranging，即激光探测和测距，是一种用于精确获得三维位置信息的传感器，可以确定目标的位置、大小、外部轮廓等。与毫米波雷达工作原理相似，激光雷达通过发射和接收激光束，获取空间的位置点信息（即点云），并根据这些信息进行三维建模。

除了获取位置信息外，激光信号的反射率还可以区分目标物质的不同材质，激光雷达的线束越多，其测量精度越高。由于激光的频率高，波长短，可以获得极高的角度、距离和速度分辨率，这就意味着可以利用多普勒成像技术，构建出清晰的3D图像。

工作原理：

激光雷达一般包括发射系统、接收系统、信息处理三大部分组成，部分激光雷达还包括扫描系统。

发射系统：包括激励源、激光器（也叫激光二极管）、光速控制器（包括透镜、反射器件、衍生器件，具体表现为准直镜、分束器、扩散片）等；

接收系统：包括光电探测器、接收模块（包括透镜、分束器、窄带滤光片）等硬件；

信息处理：包括放大器、数模转换器以及软件算法等

扫描系统：由电机、扫描镜、MEMS微型谐振镜、相控阵等组成（Flash中不包含扫描系统）；

激光雷达的测距有两种，一种是基于时间的测量方法，也叫飞行时间法（TOF）：脉冲法和三角法；另一种是不基于时间的测距法:相位式测量方法。

激光雷达特性：

视场角：包括水平FOV和垂直FOV；

分辨率：包括水平分辨率和垂直分辨率；

测距范围：最远的探测距离；

刷新频率：激光返回一圈的距离；

扫描频率：1S内进行多少次扫描；

激光波长：常见为905nm和1550nm；

最大辐射功率：判断是否需要添加防护；

激光雷达的分类：

应用：

环境感知：Lidar通过扫描得到障碍物反射回的点云后采用分类聚类或者深度学习的方法进行障碍物检测，还有使用Lidar进行车道线检测或者路面探测的。

标定：给出不同的传感器数据集，找出两个数据集的空间变换关系，使得两个数据集统一到同一坐标系的过程。

里程器与定位：根据标定得到的相对姿态变换关系后，利用传感器数据来估计载体车辆姿态随时间的变化改变关系。

毫米波雷达介绍

概述

毫米波是一种波长介于30～300GHz频域(波长为1～10mm)的电磁波，其波长短、频段宽，比较容易实现窄波束，具有分辨率高，不易受干扰等特点。毫米波雷达是采用毫米波对目标进行探测，获取目标的相对距离、相对速度、方位的高精度传感器。

毫米波优点：

毫米波导引头具有体积小、质量轻、空间分辨率高的特点；
毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点；
毫米波性能稳定，不受目标物体形状、颜色的干扰，能够很好的弥补如红外、激光、超声波、摄像头等其他传感器在车载应用中不具备的使用场景。

工作原理

笼统来讲：车载毫米波雷达通过发射天线向外发射毫米波，通过接收天线接收目标物的反射信号，经后方信号处理后快速准确地获取汽车车身周围的物理环境信息（如汽车与反射物体之间的相对距离、相对速度、角度、运动方向等）。

细分来讲：细分来讲，毫米波雷达的工作原理又分为测距原理、测速原理及测角原理。以下主要从这三个方面展开讨论。

基本结构

根据辐射电磁波方式不同，毫米波雷达主要有脉冲体制以及连续波体制两种。不管哪种工作方式的毫米波雷达，其硬件部分大体相同，只有小部分电路模块、电路参数与信号处理算法有所区别，主要部分包括MMIC芯片和天线PCB 板。MMIC全称前端单片微波集成电路，包括多种功能，如低噪声放大器（LNA ），功率放大器、混频器、收发系统等功能；雷达天线高频PCB板是将高频PCB 板集成在普通的PCB基板上实现天线的功能，需要在较小的集成空间中保持天线足够的信号强度。

应用

24GHz毫米波雷达： 24GHz毫米波雷达是指频段在24.0GHz到24.25GHz的雷达。其属于窄带（NB），带宽为250MHz，常用于工业、科学和医学方面。另外24GHz频带还包括一个带宽为5GHz的超带宽（UWB）。

77GHz毫米波雷达： 77GHz毫米波雷达指的是频段在76-81GHz的车载雷达。其中76-77GHz频段可用于远程车载雷达，这个频段的频率高，带宽也高，可以达到800MHz。

4D毫米波雷达： 目前的车载毫米波雷达虽然能够很好的探测目标的相对距离，但对目标的高度无法探测。这是因为目前的车载毫米波雷达只在二维方向上排布，再加上多普勒效应，所以只会输出目标的二维水平坐标和速度信息，即X，Y， V。也被称为3D雷达。目前有一些厂商在水平和垂直方向上均布置了天线，能够额外实现对物体高度的探测，输出量为X，Y，Z坐标和速度矢量。也就是所谓的4D雷达。

24GHz与77GHz毫米波雷达性能对比：

a) 严格意义上讲，24GHz毫米波雷达其波长大于10cm，属于厘米波雷达；

b) 相比于24GHz，77GHz能同时满足高传输功率和宽工作带宽，所以可以用来进行长距离探测和高距离分辨率；

c) 相比于24GHz，77GHz在物体分辨率、测速、测距精度上具有显著优势；

d) 相比于24GHz，77GHz雷达体积更小，其波长不足24GHz的三分之一，所以收发天线面积大幅减小，整个雷达尺寸有效下降。

毫米波雷达优劣势：

优点：

纵向目标探测距离与速度探测能力强；
可实现远距离感知与探测；
对于静态和动态目标均能做出高精度测量；
相比于摄像头和激光雷达，毫米波雷达穿透能力强，受外界干扰比较小。

缺点

无法成像，无法进行图像颜色的识别；
对横向目标敏感度低，如对横穿车辆检测效果不佳；
行人反射波较弱，对行人分辨率不高，探测距离近；
对高处物体以及小物体检测效果不佳等

性能参数

距离：最大探测距离，距离分辨率，距离精度；

速度：最大探测速度，速度分辨率，测速精度；

角度：探测视角范围FOV ，角度分辨率（一般指水平分辨率），测角精度；

雨雾尘天气对LiDAR和Radar的影响

雾气的粒子直径为1~100μm 微米，集中于10~15μm；灰尘的颗粒直径小于500μm，PM10小于10μm，PM2.5小于2.5μm；雨滴的直径0.5~5mm 毫米；

波长比雨雾的粒子直径足够大时，就能够穿透雨雾而不会发生能量衰减，一般 30mm以上的微波就可以做到；

毫米波（24Ghz、77GHz）对应波长为12.5mm、3.9mm，能够穿透雾气、灰尘，但不能穿过较大雨滴（大雨）；

激光雷达的波长集中于0.85~1.55μm之间，雾气、灰尘、雨滴都有影响，雾气和灰尘的粒子更多，影响更大；

惯性传感器

惯性测量单元（Inertial Measurement Unit，IMU)俗称惯性传感器，主要用来检测和测量加速度与旋转运动的传感器。主要是采用惯性定律实现的。

车载惯性传感器（Micro-Electro-Mechanical-System，即MEMS）是汽车传感器的主要部分，其主要由3个轴加速计和3个角速度计（陀螺仪）组成，加速度计检测物体在载体坐标系独立三轴的加速度信号，陀螺仪检测载体相对导航系统坐标系的角速度信号。加速度计和陀螺仪安装在相互垂直的测量轴上，通过算法对信号进行处理后，便可计算出物体的姿态。

IMU提供的是一个相对的定位信息，其作用是测量相对于起点物体所运动的路线，所以 IMU不能提供所在的具体位置信息，所以经常和GPS一起使用，当在某些GPS信号微弱时，IMU就可以帮助汽车获得绝对位置的信息.

工作原理

加速度计

IMU中的加速度计主要是靠MEMS中可移动部分的惯性。如下图: IMU中间有块质量很大的电容板，它是一种悬臂构造，当速度变化或者加速度达到足够大时，其所受到的惯性力超过固定或者支撑它的力时，就会移动，与上下电容板之间的距离就会变化，上下电容也因此变化。电容的变化跟加速度成正比，根据不同的测量范围，中间电容板悬臂构造的强度或弹性系数可以设计的不同。另外如果要测量不同方向的加速度，这个 MEMS的结构也会有很大不同。

角速度计

IMU的角速度计其主要原理是利用角动量守恒原理以及Corolis force(科里奥效应）测量运动物体的角速率。与加速度计的工作原理相似，角速度计上层活动金属与下层金属形成电容，当角速度计转动时，它与下面电容板之间的距离会发生变化，上下电容也会因此改变。即角速度计的转轴指向不随其支架的旋转而变化。电容的变化与角速度成正比，由此测量得到当前的角速度。如左图来描述角速度计的数学模型。

IMU特性

IMU测量的数据通常会有一定的误差。其误差可以分为:

影响因素

加速度计影响因素：角速度计的精确性可以直接影响姿态解算的优劣程度，即IMU能否正确感知到物体的姿态就是依靠角速度计的精确性。

角速度计影响因素 角速度计的精确性可以直接影响姿态解算的优劣程度，即IMU能否正确感知到物体的姿态就是依靠角速度计的精确性。

温度影响因素 IMU在温度发生变化时，其精度会产生较大的差异，所以一般需要在恒温台中进行时间，记录不同温度下的数据。

产品化影响因素 产品化后，也会有一些因素影响其性能。如：噪声、偏移等因素

除了精度外，IMU还有两个比较关键的特性，第一是更新频率高，工作频率可以达到100Hz以上，第二是短时间内的推算精度高，不会有太大的误差。

应用

高精度定位有两层含义：

1）自车与周围环境之间的相位位置，即相对定位；

2）自车的精确经纬度，即绝对定位。

GPS可以为车辆提供精度为米级的绝对定位，差分GPS或者RTK GPS可以为车辆提供厘米级的绝对定位，但并非所有路段所有时间都能够得到良好的GPS信号。所以一般需要RTK GPS的输出与IMU 、车身传感器（轮速计、方向盘转角传感器等）进行融合。

作用：

1）IMU可以验证RTK GPS结果的自洽性，并对无法自洽的绝对定位数据进行滤波和修正；

2）IMU可以在RTK GPS信号消失之后，仍然提供持续若干秒的亚米级定位精度，为自动驾驶汽车争取宝贵的异常处理的时间。

GNSS与RTK介绍

概述

GNSS全称Global Navigation Satellite System，是利用一组卫星的伪距、星历、卫星发射时间等观测量，同时还必须知道用户钟差。全球导航卫星系统是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统。只需4颗卫星，就能获得目标经纬度和高度。

GPS全称Global Positioning System，是一种以人造地球卫星为基础的高精度无线电导航的定位系统，它在全球任何地方以及近地空间都能够提供准确的地理位置、车行速度及精确的时间信息。

GNSS它是泛指所有的卫星导航系统，包括全球的、区域的和增强的，如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统，以及相关的增强系统，如美国的WAAS（广域增强系统）、欧洲的EGNOS （欧洲静地导航重叠系统）和日本的MSAS（多功能运输卫星增强系统）等，还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系统、多层面、多模式的复杂组合系统。

RTK（Real - time kinematic，实时动态）载波相位差分技术，是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标。厘米级定位精度，是GPS应用的重大里程碑。其原理是将位于基准站上的GPS接收机观测的卫星数据，通过数据通信链（无线电台）实时发送出去，而位于附近的移动站GPS接收机在对卫星观测的同时，也接收来自基准站的电台信号，通过对所收到的信号进行实时处理，给出移动站的三维坐标，并估计其精度。利用RTK测量时，至少配备两台GPS接收机。

应用

GNSS:国内用的多的是GPS+北斗+GLONASS三套卫星导航系统；

◆ 在自动驾驶领域，GNSS高精度定位涉及到五个必要的时空因素：GNSS卫星、高精度地图、全疆域通讯网络覆盖、GNSS基站、移动端GNSS接收机；

◆ GNSS与其他传感器的结合：在自动驾驶领域，多传感器共同工作的环境，也使该领域对GNSS设备的精确性、抗干扰性提出了更高的要求。未来，每辆自动驾驶汽车都将配备有多种传感器，包括激光雷达、毫米波雷达、摄像头、惯性测量单元和GNSS系统；

◆ GNSS定位可以为自动驾驶提供全局定位信息的来源。GNSS是通过使用三角定位法，通过3颗以上的卫星，可以准确地定位地球表面的任一位置。但由于GPS是有很大的误差，通过使用RTK技术，GNSS可以提供精确到厘米级别的定位精度；

◆ GNSS+IMU方案是一种最常用的组合惯导系统的方案

超声波雷达

概述

超声波雷达是一款极为常见的传感器，在汽车驻车或者倒车时，经常会听到嘀嘀嘀的声音，这些声音就是根据超声波雷达对周围障碍物的探测距离的反馈信息，以声音的形式传递给司机，所以超声波雷达也叫倒车雷达。车载超声波雷达一般安装在汽车保险杠上方，隐藏在保险杆的某个位置。

工作原理

超声波雷达的工作原理是通过超声波发射装置向外某一个方向发射出超声波信号，在发射超声波时刻的同时开始计时，超声波通过空气进行传播，途中遇到障碍物就会立即反射传播回来，超声波接收器在收到反射波的时刻立即停止计时。在空气中，超声波的传播速度为340m/s，计时器通过记录时间t，就可以测算出从发射点到障碍物之间的距离长度（s），即s=340*t / 2。目前，超声波雷达探头的工作频率有40kHz ，48kHz和58kHz三种。一般来说，频率越高，灵敏度越高，但水平和垂直方向的探测角度就越小，所以一般采用40kHz的探头。

超声波雷达类型

常见的超声波雷达有两种：

◆ 一种是安装在汽车前后保险杠上的，用于测量汽车前后障碍物的倒车雷达，即所谓的UPA，探测距离一般在15~250cm；

◆ 一种是安装在汽车侧面的，用于测量侧方障碍物距离的超声波雷达，即所谓APA，探测距离一般在30~500cm，相比于UPA，APA的探测范围更远，但成本更高，功率更大。

超声波雷达的优劣势

优点：

因其固有的特性，在传播过程中，能量消耗比较慢；
在介质中传播的距离比较远，穿透性强，即使在雨雾灰尘或者少量泥沙遮挡的条件下，都能够有很好的测距性能；
且测距方法简单，成本较低；

缺点：

超声波雷达探测的距离与其传播速度、传播时间相关（距离=速度*时间/2）；
在车辆高速运行的状态下，其测量距离也有一定的局限性
超声波雷达散射角较大，方向性差，无法精准的描述障碍物的位置

应用：

超声波雷达在智能驾驶领域除了障碍物探测外，还有其他的功能，如泊车库位检测，高速横向辅助。

点个赞吧！

The end!