一、智能网联汽车关键技术

二、传感器总结

三、TOF传感器

四、摄像头传感器

五、超声波传感器

六、激光雷达

七、毫米波雷达

八、参考文献

该文是应用于自动驾驶的传感器的学习总结

————————————————————————————

一、智能网联汽车关键技术

环境感知、智能决策、控制执行是智能网联汽车的关键技术：

其中环境感知是通过各种传感器对车辆行驶环境进行动态感知，为决策模块提供输入，实现自动驾驶的基础。

不同的传感器来源就分成了2种感知形式：自主式环境感知、协同式环境感知。

环境感知：包括车辆的行驶路径、车辆周围的参与者、驾驶状态和驾驶环境等：

行驶路径	结构化道路：检测车辆行驶路径的两侧车道线和各种车道标线；非结构化道路：车辆的可行使区域
交通参与者	车辆周围的其他车辆、行人地面可能影响车辆通过和安全的其他移动或静止物体各种交通标志和交通信号灯等
驾驶状态	驾驶员自身状态车辆自身行驶状态车辆周围其他车辆行驶状态
驾驶环境	路面状况道路交通拥堵情况天气状况
对于动态对象，除识别外还需要进行轨迹跟踪

二、传感器总结

传感器选型主要有以下条件:

(1）扫描范围，决定了传感器对被感知的目标做出反应的时间;

(2）分辨率，传感器可以为车辆提供的环境细节;

(3）视场角分辨率，决定智能网联汽车需要多少传感器来覆盖感知的区域；

(4）感知目标数量，能够区分3D环境中的静态目标和动态目标的数量，并且确定需要跟踪的目标数量；

(5）刷新率，决定传感器信息更新的频率;

(6）可靠性和准确性，传感器在不同环境条件下的总体可靠性和准确性；

(7〉成本、尺寸和软件兼容性，这是环境感知传感器量产的技术条件之一；

(8）生成的数据量，它决定了车载计算单元的计算量，现在传感器偏向智能传感器，不仅仅是感知，还会分辨信息，把对车辆行驶影像最重要的数据传输给车载计算单元，从而减少其计算负荷。

三、TOF传感器

1、ToF是飞行时间（Time of Flight）的缩写，ToF传感器采用的是红外光，当光从物体上反射回传感器后，根据光的发射与反射的时间差，就可以计算出传感器与测量物体之间的距离；

2、ToF传感器也被称为“深度相机”（depth camera）或者ToF相机；

3、ToF传感器本身由两部分组成：第一部分是发射红外光的二极管，第二部分是特殊的光敏矩阵。传感器测量从物体反射回来的时间可以精确到纳秒级，ToF传感器还有一个重要特性使其成为一个3D传感器。那是因为ToF传感器不仅可以准确计算单个物体与传感器的距离，利用激光返回时间和波长的差异，还能对目标进行精确的数字三维（3D）表征，并直观地绘制出目标的各个特征，为我们提供一个三3D图像。

4、优势和不足：低功耗（3W）、小尺寸、精确快速的测量（纳秒级测量）、深度精度比2D摄像头高、远距离测量、安全性高、成本效益高、能接收动态信息更适合动态场景、可以在恶劣的光照条件下捕捉深度和红外图像；散射光带来的伪影（如果被测物体表面特别明亮且非常靠近ToF传感器，它们会将太多的光散射到接收器中，并产生伪影和不必要的反射）、多次反射带来测量的不确定性（当在拐角和凹面上使用ToF传感器时，光线可能会被多次反射，这些不必要的反射将给测量带来很大的不确定性）、环境光对测量带来不利影响（当在阳光明媚的户外使用ToF传感器时，高强度的阳光会导致传感器像素的快速饱和，从而无法检测到物体反射的实际光）；

5、ToF与LiDar的对比：
①激光雷达（LiDar）是激光探测和测距的缩写，这项技术使用一个激光器作为光源；LiDar使用光脉冲来测量飞行时间，LiDar激光雷达比ToF的测量速度更快且更加精确
②ToF传感器则利用连续波从反射和相移得到飞行时间（即远距离都不会大量衰减），ToF需要较少的专用设备，因此可以与更小、更便宜的设备一起使用

6、3D ToF相机在下一代汽车中具有巨大的应用潜力。该技术有助于车辆实时获得良好的环境感知，实现快速机动和避障，这也是自主驾驶不可或缺的能力。3D ToF还可以用来监控驾驶员和乘客的状态（眼球、动作、姿势、视线、安全带、物体遗留检测、物体分类和识别、移动支付，并在紧急情况下接管车辆的控制。3D ToF相机的手势检测可用于设置室内气候控制或切换到来电。ADI公司开发的ToF模块结合影像传感器和VGA ToF传感器模块与内建图像处理器方案，比传统音波检测具备更佳的检测角度，也更能准确测量物体跟汽车的距离。因此可为汽车倒车系统、开门防护系统、停车辅助系统及盲点侦测等应用提供更大范围的碰撞侦测预防。

7、3D ToF相机能提供实际场景中物体的高分辨率3D深度映射。与传统的2D成像相比，这是一个显著的优势，因为它提供了高度的可信度，可以根据精确的位置对人和物体进行分类。

四、摄像头传感器

1、摄像头传感器，顾名思义就是通过摄像头拍摄车辆周边场景，并以此来识别车辆、行人、行车线等的传感器。从拍摄到的影像可以检测出车辆及车灯、行车道的白线及标识、行人及自行车等。

2、摄像头传感器分为单镜头摄像头和多镜头立体摄像头两种。单镜头摄像头识别的是平面影像，而多镜头立体摄像头内置2个摄像头，除了可以识别立体物体，还可以测算到目标物体的距离。

3、摄像头传感器通过获取摄像头拍摄的车辆周边的实景画面，从实景画面中抽取场景特征信息、调整显像浓度，对画面进行预处理。根据预处理结果，更容易辨别对象的特征及形状、颜色等信息，从而提高检测速度。

4、目标物体处理流程：图像传感器通过图像处理识别对象物体，根据驾驶辅助ECU检测到的信息进行内容识别、判断、控制车辆。

5、检测车道：从经过处理的图像上抽取边缘画面（亮度变化大的区域），从边缘画面中找出行车线标记（车道两侧的实线及虚线，直道显示为直线），通过行车线标记测定车道。基于行车线信息获取车道中央位置、车辆行进方向及测算距离，从而识别、判断、控制车辆。

6、检测道路标识：从经过处理的图像上抽取对应的候补点，寻找由各点分布构成的直线、曲线、平面等任意图形，按照特定的模板推定标识。通过标识信息进行判断并控制车辆。

7、检测行人：人物图像由于体型、姿势、衣着等因素影响较难识别。因此，从图像中区分出静止的背景和运动的人物，需要根据模型化部位（手脚等较大部位的图形）以及统计性特征（全身图像等）进行识别，符合特征的则被判定为行人。根据车辆与行人间的位置关系及测算的距离，识别、判断、控制车辆。

8、多镜头立体摄像头：单镜头摄像头拍摄到的某一个图像，在转化成二次元画面时，由于缺少目标物体纵深数据导致无法进行立体识别。而多镜头立体摄像头融合了2个摄像头拍摄的图像从而获得视觉差，并利用视觉差使用三件测量的方式计算出纵深数据。因此，立体地识别目标物体的大小及形状

9、摄像头感知算法：

2D感知算法：
物体检测	R-CNN系列 YOLO系列 CenterNet系列
物体跟踪	DeepSORT CenterTrack
语义分割	FCN, U-Net DeepLab Mask-RCNN
3D感知算法（单目和双目算法）：物体检测和深度估计

注意：图像传感器不能过热或模糊

五、超声波传感器

1、超声波传感器能被任何材质的障碍物所反射，并接收和放大障碍物反射的超声波脉冲，将超声波脉冲转换成数字信号。

2、超声波发射器发出超声波，超声波遇到障碍物会返回，超声波传感器正是根据发射波和回波之间的时间差来测定发射点到障碍物的实际距离。

3、但是强大如超声波传感器可是很怕脏污的，应始终保持表面干净。因为当其被异物附着时，超声波喇叭的震动(残响时间*1)会发生异常。例如超声波喇叭上附着霜（冰）、雪、泥等异物时，会影响超声波喇叭的正常功能。

六、激光雷达

1、是以发射激光束探测目标的位置、速度等特征量的雷达。通过向目标发射探测信号(激光)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，从而获得目标的距离、方位、速度等相关信息。

2、摄像头传感器通过获取摄像头拍摄的车辆周边的实景画面，从实景画面中抽取场景特征信息、调整显像浓度，对画面进行预处理。根据预处理结果，更容易辨别对象的特征及形状、颜色等信息，从而提高检测速度。

3、FLSAH激光雷达：在短时间内向前方发射大面积的激光，依靠高灵敏度的探测器对回波信号进行收集并绘制成像。

4、扫描式激光雷达：被称为自动驾驶领域中必不可少的传感器。它可对车辆自身位置和目标物体之间的距离以及目标物体的形状进行分析，也可对包括行车道白线在内的道路形状等进行识别。

5、MEMS激光雷达：MEMS（Micro Electromechanical System）即微机电系统，是指尺寸在几毫米乃至更小的高科技装置，其内部结构一般在微米甚至纳米量级，是一个独立的智能系统。MEMS微光反射镜是指采用光学MEMS技术制造的，把微光反射镜与MEMS驱动器继集成在一起的光学MEMS器件。MEMS微光反射镜的运动方式包括平动和扭转两种机械运动。通过可旋转MEMS微光反射镜改变发射光束的方向，对特定范围进行扫描。目标物体会反射扫描光束，接收部件会识别反射光。通过发射激光和接收到反射光的时间，可以测定与目标物体间的距离以及目标物体的大小。

6、激光雷达感知算法：

点云物体检测
Point视图	PointNet++ Point-RCNN 3D SSD
BEV视图	VoxelNet SECOND PIXOR AFDet
Range视图	LaserNet RangeDet
多视图融合	PointPillar SIENet PV-CNN MV3D RSN
点云语义分割
语义分割	RangeNet++ SqueezeSeg RandLA-Net
实例分割	LiDARSeg SGPN
全景分割	Panoptic-PolarNet Panoptic RangeNet 4D Panoptic Seg

七、毫米波雷达

1、是通过毫米波段的电波测量距离、相对距离、方向等的雷达传感器。在驾驶过程中向前方发射毫米波段的电波，若前方有车辆，则可收到反射回来的回波。通过分析检测到的反射波频率变化等，检测前方及对面是否有车辆、与前方及对面车辆间的距离、相对速度和方向等。

2、车辆上搭载的毫米波雷达通常使用两个波段。毫米波雷达使用的是76GHz波段的电波(毫米波*1)。BSM使用的是24GHz波段的电波(准毫米波)。

八、参考文献

ToF传感器究竟有多神奇？本文告诉你！ (qq.com)

读懂ToF传感器，看这一篇就够了！_飞行时间

自动驾驶背后的传感器 (qq.com)

自动驾驶感知——环境感知的基本概念 (qq.com)

TOF传感器、摄像头传感器、超声波传感器、激光雷达、毫米波雷达相关推荐

多传感器融合定位1（激光雷达+毫米波雷达）
前言 LZ最近在看Udacity的无人驾驶课程,该课程主要分为三部分,第一部分的课程主要使用Python实现的车道线识别.车牌识别等计算机视觉项目.由于我对定位.建图等方面有些知识储备,所以先从第二部 ...
无人驾驶传感器融合系列（四）——毫米波雷达测距原理（77GHz FMCW）
无人驾驶传感器融合系列(四)--毫米波雷达测距原理(77GHz FMCW) 本章摘要:介绍什么是调频连续波(FMCW),它是如何进行测距的,测距分辨率分析,测距范围分析. 调频连续波测距的基本原理: ...
无人驾驶传感器融合系列（六）——毫米波雷达方位角估计（77GHz FMCW）
无人驾驶传感器融合系列(六)--毫米波雷达方位角估计(77GHz FMCW) 本章摘要:本章主要讲解毫米波雷达如何估计障碍物的方位角,方位角的分辨率计算,方位角可估算范围. 一.方位角估计基础根据上 ...
发布职位：图森未来TuSimple# 4月份纳斯达克上市base 北上技术路线：激光雷达+毫米波雷达+摄像头 + 高级规划决策 + 高精地图前端后端软件大数据感知定位算法
发布职位:图森未来TuSimple# 4月份纳斯达克上市 base 北上技术路线:激光雷达+毫米波雷达+摄像头 + 高级规划决策 + 高精地图前端后端软件大数据感知定位算法
汽车电子传感器科普：激光雷达毫米波雷达超声波雷达
参考: 1. 一文读懂毫米波/激光/超声波雷达的区别 | 搜狐科技 2. 毫米波雷达为何还未被激光雷达取代? | OFweek激光网各种汽车测距传感器比较传感器频段带宽工作原理特点缺点 ...
传感器仿真模型一览 | 摄像头激光雷达毫米波雷达
作者 | 黄浴编辑 | 汽车人点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[多传感器融合]技术交流群后台回复[相机标定]获取 ...
US100超声波测距传感器linux,US100超声波传感器手册
US100超声波传感器手册 (2011-08-13 17:42:47) 标签: 杂谈 US-100 超声波测距模块 1．概述 US-100 超声波测距模块可实现2cm~4.5m 的非接触测距功能, ...
agv ti 毫米波雷达_TI毫米波传感器全面覆盖工业自动化、自动驾驶与安防市场
ADAS无人驾驶的兴起,催生了在4月举办的TI德州仪器工业月活动上,德州仪器中国嵌入式产品系统与应用总监蒋宏向本站记者展示其毫米波雷达方面的相关应用,相比3D TOF和视觉成像等光学技术,毫米波雷达 ...
汽车环境感知技术详解【持续更新ing 】— 超声波传感器原理及应用
专栏解读: 本专栏针对自动驾驶技术(智能网联汽车技术)中的感知技术进行详细介绍. 包含: 汽车感知技术概念多传感器融合原理各传感器原理及应用(超声波,毫米波,激光雷达,视觉传感器,全球定位系统) ...

TOF传感器、摄像头传感器、超声波传感器、激光雷达、毫米波雷达

一、智能网联汽车关键技术

二、传感器总结

三、TOF传感器

四、摄像头传感器

五、超声波传感器

六、激光雷达

七、毫米波雷达

八、参考文献

TOF传感器、摄像头传感器、超声波传感器、激光雷达、毫米波雷达相关推荐

最新文章

热门文章