自动驾驶采标系列二：车载感知与车载传感器标定
上一篇文章对自动驾驶采标问题中的一系列法律问题进行了浅析，接下来自动驾驶采标系列里面会对自动驾驶相关技术和知识点进行进一步梳理，来帮助小伙伴深入的了解自动驾驶的架构逻辑与数据采标工作的关系。
上文中提到了很关键的一点就是“环境感知”技术所采集到的“环境感知”数据到底是否属于“测绘法”所管辖的范围，那么“环境感知”技术到底包含了哪些内容呢？本文就从一下两个方面进行分享：
- 车载感知传感器
- 车载传感器标定
一.车载感知传感器
自动驾驶汽车对于外界和自身的感知依赖于传感器，目前应用于自动驾驶汽车的传感器主要有摄像头、激光雷达、毫米波雷达、超声波雷达。
- 图像传感器
摄像头可以采集汽车周边图像信息，拥有较广的垂直视场角和较高的纵向分辨率，而且可以提供衍射和纹理等信息。能识别丰富的环境语义信息，如行人、自行车、机动车、道路轨道线、路牙、交通标志、信号灯等信息。从而实现前车碰撞预警（FCW）和车道偏离预警（LDW）。摄像头依据图像检测原理分为：
- 单目摄像头
- 双目摄像头
根据芯片类型可以分为：
- CCD摄像头
CCD（Charge Coupled Dvice）感光耦合组件CCD主要材质为硅晶半导体，基本原理类似CASIO计算器上的太阳能电池，通过光电效应，由感光组件表面感应来源光线，从而转换成出储存电荷的能力。当CCD表面接受到快门开启，镜头进来的光线照射时，即会将光线的能量转换成电荷，光线越强、电荷也就越多，这些电荷就成为判断光线强弱大小的依据。
CCD组件上安排有信道线路，将这些电荷传输至放大解码原件，就能还原所有CCD上感光组件产生的信号，并构成了一幅完整的画面。
- CMOS摄像头
CMOS（Complementary Metal-Oxide Semiconductor）互补性氧化金属半导体CMOS的材质主要是利用硅和锗这两种元素做成的半导体，使其在CMOS上共存着带N（带-电）和P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。
摄像头的优点：
- 成本低
- 分辨率高
- 所采集到的信息十分丰富
摄像头的缺点：
- 对于光照变化和天气状况较为敏感，在逆光、光影复杂、夜间、雨雪、大雾能见度低的情况下难以使用。
- 摄像头对象识别受限于训练样本，样本未覆盖的物体将无法辨别。
- 车载摄像头缺乏精确的三维信息
- 激光雷达
LiDAR（Light Detection and Ranging，激光雷达），工作在红外和可见光波段，以激光为工作光束，探测目标的位置、速度等特征量，一般由激光发射器、接收器、时间计数器、微计算机等组成。激光测距精确程度高，可达到厘米级。许多自动驾驶汽车的激光雷达安装在车顶，通过高速旋转对周围进行360°扫描，获得周围空间的点云数据，实时绘制车辆周边的三维空间地图，为下一步的车辆操控建立决策依据。
激光雷达的优点：
- 可以获得极高的角度
- 距离分辨率（分辨率可以达到0.1°，距离分辨率可达0.1m）
- 同时跟踪多个目标
- 抗有源干扰能力强，自然界中能对激光雷达起干扰作用的信号源不多
- 获取信息丰富，可直接获得目标的距离、角度、反射强度、速度等信息，从而生成目标的多维图像。
激光雷达的缺点：
- 对于光线、天气状况敏感，因此工作时受天气状况影响大，晴朗的天气里衰减较小，传播距离较远，而在大雨、浓雾等恶劣天气里，衰减加大，传播距离受到影响。
- 激光雷达接受的是光信号，因此也容易受太阳光、其他车辆的激光雷达等光线影响。
- 难以获取颜色、纹理信息、导致分辨交通标志的含义和红绿灯颜色等任务必须有其他传感器完成。
- 毫米波雷达
毫米波雷达是工作在毫米波波段的雷达，因为毫米波雷达具有较强的穿透性，能够轻松地穿透保险杠上的塑料，所以常被安装在汽车的保险杠内。毫米波雷达的优点：
- 能够准确的测量自动驾驶汽车与周边车辆之间的距离，从提供变道辅助、自主控制车速、碰撞预警等帮助
- 毫米波导引头穿透烟尘雾的能力强，精度受天气和环境因素影响较小，可以基本保证在各种日常天气正常运行
毫米波雷达的缺点：
- 毫米波雷达发射机功率低，波导器件的损耗大
- 由于行人的后向散射截面较弱，如果需要探测行人，雷达的探测阈值需要设低，其负面效应可能会有更多虚报物体出现。
- 超声波雷达
超声波雷达是通过发射并接收40kHz的超声波，根据时间差算出障碍物距离的，其测距精度大约是1~3cm。超声波的指向性强，能量消耗缓慢，遇到障碍物后反射效率高，是测距的良好载体。常见的超声波雷达有两种：
- 一种是安装在汽车前后保险杠上的倒车雷达，称为UPA（超声波驻车辅助传感器）
- 另一种是安装在汽车侧面的超声波雷达，用于测量侧方障碍物距离，称为APA（自动泊车辅助传感器）
超声波雷达的优点：
- 能量消耗较为缓慢
- 防水、防尘，即使有少量的泥沙遮挡也不影响
- 在介质中的传播距离较远
- 穿透性强
- 测距方法简单
- 不受光线条件影响
- 在短距离测距商有非常大的优势
超声波雷达的缺点：
- 超声波波速受温度影响，对温度较为敏感
- 超声波收射角大
- 方向性较差
- 无法精确描述障碍物位置
- 在测量较远距离目标时，其回波信号较弱，影响测量精度。
二.车载传感器标定
- 摄像头标定
在图像测量过程以及机器视觉应用中，需要建立摄像头成像的集合模型来确定空间物体某点的三维集合位置与其在图像中对应点之间的关系；由于每个镜头的畸变程度各不相同，通过摄像头标定可以校正镜头畸变，生成矫正后的图像，因此摄像头的参数标定十分关键，其标定结果的精度及算法的稳定性直接影响摄像机结果的准确性。
对于自动驾驶汽车来说，通常会有多个车载摄像头以一定角度和位置安装在车辆上，为了将不同摄像头捕获的数据与真实场景联合对应起来，还必须对多个摄像头进行外参数的标定。
摄像头的标定方法分为内参数标定和外参数标定。
摄像头内参：在关联建立的过程中，与摄像机的焦距、主点以及传感器等设计技术指标有关，而与外部因素（如周边环境、摄像机位置）无关。
摄像头外参：自动驾驶通常会采用多摄像头捕捉各视角的视觉信息，为了综合多视角信息，需要确定它们之间的相对位置关系。两个摄像头之间相对位姿（R,t）有六个自由度，即空间位置（x,y,z）与旋转关系（a,p,y），理论上只要两个摄像头同时获取空间中3个点即可恢复二者之间的相对姿态。
从3对对应点恢复摄像头之间的相对姿态的问题，称为P3P（透视三点问题）。而在现实中，常常使用3个以上的点来恢复相对姿态以提高健壮性，P3P问题被推广为PnP问题。
在自动驾驶汽车中，典型的外参标定有双目摄像头的外参标定、长焦摄像头与广角摄像头的外参标定。
- 激光雷达标定
激光雷达与摄像机同样作为自动驾驶汽车的感知传感器，拥有高于摄像机的深度信息，因此也是自动驾驶不可或缺的传感器。激光雷达在使用之前也需要对其内外参数进行标定，即内部激光发射器坐标系与雷达自身坐标系的转换关系，这通常在生成厂商交付产品时已经标定完成，可以直接使用。
而激光雷达的外参标定，即激光雷达吱声坐标系与车辆坐标系的转换关系，以及多个激光雷达之间的转换关系。激光雷达与车辆坐标系之间是刚性连接，因此仅需要在激光雷达安装时进行标定，使激光雷达数据正确从激光雷达坐标系系统转换至车辆坐标系上，而多个激光雷达的联合标定通常会通过各激光雷达与车辆坐标系标定结果推导得到。
- 联合标定
在自动驾驶汽车上，激光雷达与自动驾驶汽车间是刚性连接，相对姿态和位移固定不变，激光雷达扫描的数据点在环境坐标系中有唯一的位置坐标与之对应。同样在环境坐标系中，摄像机也有一个固定的位置坐标，因此激光利达与摄像机之间存在着固定的坐标变换
激光雷达与摄像机联合标定是通过提取标定对象在单线激光雷达和图像上的对应特征点，实现单线激光雷达坐标、摄像头坐标、图像像素坐标等多个传感器坐标的统一，实现激光雷达与摄像机的空间校准。
对摄像机外参标定、激光雷达外参标定后，可以完全确定二者之间的关系，并将激光雷达扫描点投影到图像像素坐标系中。
环境感知与识别的信息来源主要通过自动驾驶汽车上的各种传感器捕捉，而传感器捕获的原始数据并不具有显而易见的语义信息，规划与决策系统难以直接使用，因此通常采用计算机视觉的方法，对传感器捕获的原始信息进行分析处理，得到该系统可以使用的语义信息。
自动驾驶汽车的环境感知对象主要包括道路、周边物体及交通标志。
- 道路分为结构化道路和非结构化道路：
- 结构化道路：包括车道线、道路边缘、道路隔离物、不良路况标识。
- 非结构化道路：包括可行路径识别、道路环境识别。
- 周边物体主要包括：车辆、行人及地面上其他可能影响车辆形式的障碍物。
- 交通标识主要包括：红绿灯检测、限速标志等的检测。
以上就是自动驾驶环境感知部分涉及到的车辆感知中车载传感器及车载传感器标定的一些基本知识点，也是我们在做自动驾驶相关采标工作必须了解和掌握的内容。自动驾驶相关采标项目依然占据了标注行业的半边天，希望在我自己不断学习的过程也可以帮助小伙伴们一起成长。
-----------------------完---------------------
公众号：AI数据标注猿
知乎：AI数据标注猿
CSDN：AI数据标注猿
-----------------------完---------------------
自动驾驶采标系列二：车载感知与车载传感器标定相关推荐
- 自动驾驶采标系列四：基于激光雷达的目标检测方法
标注猿的第55篇原创 一个用数据视角看AI世界的标注猿 上一篇文章我们讲了基于图像的目标检测技术,但对于标注人员来说这部分内容就相对比较难一些,只是作为一个了解就可以,但是如 ...
- 自动驾驶采标系列三：基于图像的目标检测技术
标注猿的第54篇原创 一个用数据视角看AI世界的标注猿 上一篇文章我们从"环境感知"数据的采集设备上进行了详细说明,已经了解了相应设备采集的数据及采集前 ...
- 自动驾驶采标系列六：复杂场景语义理解-交通识别检测技术
标注猿的第57篇原创 一个用数据视角看AI世界的标注猿 前几篇文章从两种数据的角度去学习了基于图片和激光雷达数据的算法,较为通俗的说明了其算法的逻辑,从而为理解其标注数据在使 ...
- 自动驾驶采标系列七：复杂场景语义理解-可行驶区域检测
标注猿的第58篇原创 一个用数据视角看AI世界的标注猿 本篇文章我们继续学习自动驾驶采标系列的算法基础理论,关于复杂场景语义理解中的可行驶区域检测部分. 车辆可行驶区域包括结 ...
- 自动驾驶采标系列一：自动驾驶数据采集资质及采集数据出境的调研分析
注猿的第52篇原创 一个用数据视角看AI世界的标注猿 各位小伙伴小猿又回来啦,最近由于工作的原因拖更了两个月的时间,很多小伙伴后台留言没有及时回复还请海涵,为了表达 ...
- Uber AVS 自动驾驶可视化工具（二）XVIZ之Overview
Uber AVS 自动驾驶可视化工具 (二)XVIZ之Overview Overview Introduction Main Features XVIZ Protocol Specification ...
- 使用 Carla 和 Python 的自动驾驶汽车第 2 部分 —— 控制汽车并获取传感器数据
欢迎来到 Carla 自动驾驶汽车教程系列的第 2 部分.在本教程中,我们将向您介绍 Carla 的 Python API 方面. 首先,Carla 中有几种类型的对象: world:这是你的环境: ...
- 自动驾驶数据闭环系列之一：理想丰满，现实骨感
交流群 | 进"传感器群/滑板底盘群/汽车基础软件群/域控制器群"请扫描文末二维码,添加九章小助手,务必备注交流群名称 + 真实姓名 + 公司 + 职位(不备注无法通过好友验证) ...
- 自动驾驶在挑战中进化的感知能力
桔妹导读:滴滴感知大量使用机器学习和深度学习来解决问题,但要解决L4自动驾驶的感知问题,并非只是引入最先进的深度学习模型即可解决.本文归纳出感知能力逐步进化的三个阶段.并分析了以下几大难题给感知带来的 ...
最新文章
- 搭建免费ftp服务，视频演示
- 看看10万程序员怎么评论：零基础的前端开发该如何系统地学习？
- 旋流式沉砂池计算_以高效旋流器为核心的超低成本选煤技术
- python import如何使用_python之import引用
- eks volumn s3_云顶棋弈研习社 游玩S3赛季 PBE注册、下载与汉化教程
- 【Android】15.0 第15章 广播和通知—本章示例主界面
- sqlserver2000与sqlserver2005驱动与url的区别
- TcpTrace追踪远程服务器的soap信息
- 冲刺Two之站立会议4
- 聊聊mq中消息消费的几种方式
- html5 canvas文字标签云3D旋转动画特效
- 魔方还原神器，有了它，没有还原不了的魔方(15)
- 基于xc7k325t fbg900的IBRET的测试流程
- 西门子S7-300 PLC 的50个经典问题
- BSN-DDC基础网络的DID功能设计
- C# 读取处理超大TXT文本文件
- 全球最值的学习的100个网站
- web前端高级工程师，面试题
- Linux如何打开cp2k,centos7安装并行版cp2k6.1-POPT
- 判断2064年是不是闰年。 闰年判断规则： 能被400整除的是闰年（ 2000年是闰年） 能被4整除，不能被100整除的是闰年(2004年是闰年) 其他的不是闰年（1900年不是闰年）