【地平线机器人入职培训笔记-第二周】

读书笔记（第二次任务）

第一篇：毫米波雷达与摄像头

传感器作用：
通过将感受到的被测量信息按照特定规则转化为电信号，进而将其传输到汽车的中央控制单元中进行环境监测、车身感知、决策规划，从而协助智能驾驶汽车实现自动驾驶。

自动驾驶的核心传感器包括：
车载摄像头、毫米波雷达、激光雷达，在ADAS系统中主要以摄像头与毫米波雷达为主。

1.车载摄像头

作用：
车载摄像头以图像识别算法为基础，主要负责外部图像环境感知与分析，在自动驾驶传感器领域有着至关重要的作用，是自动驾驶“的汽车之眼”

工作原理：
车载摄像头获取图像信息的前端，借由镜头采集图像后，摄像头内的感光组件电路及控制组件对图像进行处理并转化为电脑能处理的数字信号，随后图像信息在视觉处理芯片上通过算法进行处理，提取有效信息后进入决策层用于决策判断，从而感知与判断车辆周边的路况情况。
车载摄像头的算法和解决方案主要依靠于计算机视觉(Computer Vision)与机器学习。车载摄像头在图像采集之后，经过图像预处理，将数据传输给无人驾驶系统。无人驾驶系统通过以深度学习为核心的计算机视觉技术进行目标检测，即对周围的环境、车辆、行人以及交通基础设施做出精准的分割和目标分类。在图像分割和目标分类完成后，对于不同的分类对象的特点，无人驾驶感知层系统还需要分别进行针对性的探测和认知，从而通过有效的图像识别指导指导汽车对周围的环境做出反应。

功能：
具有目标识别能力，应用图像识别技术让自动驾驶汽车能够精准分辨出驾驶过程中的行人、车辆、交通标志和障碍物，目前主要应用在360全景影像、前向碰撞预警、车道偏移报警和行人检测等ADAS功能中。

硬件组成：

镜头、CMOS 图像传感器、DSP 数字处理芯片等，整体部件通过模组组装而成

硬件要求：

温度要求：车载摄像头需要应对多种复杂环境，温度范围要求一般在在-40度~80度；
像素要求：为降低芯片处理的负担，摄像头的像素并不需要非常高，30万-200万像素已经能满足要求。
探测范围与角度：对于环视和后视，一般采用135度以上的广角镜头，探测距离在10米以内，前置摄像头对视距要求更大，一般采用40-70度的视角范围，视距要求一般在120米以上，双目摄像头视距一般小于单目；
功耗：车载摄像头功率不宜过大，一般在10W以下。

分类：
根据安装位置：前视、后视和侧视
根据摄像头个数：单目、双目和多目

单双目摄像头区别：
单目摄像头：
通过计算机视觉与人工智能算法对摄像头获取的信息进行分析，获取有用的信息并做出相应的判断。

单目摄像头优势：
单目摄像头解决方案已经相对成熟，且成本低廉，广泛搭载于各类汽车上，用于对路况的判断

单目摄像头劣势：
由于单个摄像头无法获取景深，在测量车辆与障碍物之间的距时需要根据算法在图像识别匹配目标物体之后，通过其在图像中的大小去估算目标距离。在ADAS应用中，如果采用单目摄像头，为了识别行人和车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，并且难以识别不规则物体。这一方式对算法水平要求极高，同时需要大量的数据训练保证准确率。

双目摄像头：
相比于单目视觉，双目视觉（Stereo Vision）的关键区别在于可以利用双摄像头从不同角度对同一目标成像，从而获取视差信息，推算目标距离。

双目摄像头优势：
双目视觉的最大优势在于维持开发成本相对较低的前提下，保证了一定精度的目标识别和测距

双目摄像头劣势：
首先，因为增加了一个镜头，带来更多运算量，整个摄像头模组的性能要求和成本都更高，系统也容易产生更大的误差。其次，在两者都有的标定工作上，双目要比单目更加复杂，而且选择双目方案依然要需要一个庞大的数据库训练模型从而实现目标识别，因此算法的开发难度也不低。

多目摄像头方案：
多目（三个及以上）摄像头也被一些厂商所使用，如蔚来的ES8和特斯拉的Model 3就采用了三目摄像头，采用三个不同焦距的前向摄像头覆盖不同范围的场景，解决了摄像头无法来回切换焦距的问题，也可以通过立体视觉技术实现三维成像；Mobileye在最新的方案中则采用了7个摄像头采集不同焦距的图像数据，随后使用SFM（Structurefrom Motion）技术将不同焦距与角度的图像拼接在一起绘制成三维点云，从而构建立体视觉进行环境感知。多目摄像头可以通过不同的摄像头来覆盖不同范围的场景，并通过摄像头之间的配合实现景深的测量，因此受到越来越多厂商的关注。然而，多目摄像头单是硬件成本就是单目的N倍，而且在算法的复杂度和成本上也会成倍增加，因此目前只应用于小部分车型中。随着自动驾驶的推进，多目摄像头有望获得进一步发展。

摄像头方案核心技术：自动驾驶芯片以及基于芯片的视觉系统自动驾驶算法和解决方案

行业龙头和关键厂商：以色列公司Mobileye，主要追赶者：德赛西威等

Mobileye技术方案：
Mobileye的技术积累主要是基于机器视觉和神经网络，运用摄像头附带传感器和定制化神经网络系统芯片，将物体探测任务在单一硬件平台上执行。Mobileye设计了“ViDAR”系统：单靠摄像头实现类似LiDAR的数据输出能力，并通过四种独立算法，在3D空间中对探测物体进行定位。今年9月，Mobileye公布了其基于EyeQ5自动驾驶芯片的自动驾驶最新解决方案SuperVision。在该方案中，Mobileye采用了7个远距离自动驾驶用单目摄像头构成SFM（Structure from Motion），通过多个二维图像序列构建出完整的三维结构环境模型，也称为多目立体视觉系统。这一解决方案技术壁垒极高，除了Mobileye以外，目前市场上还没有通过SFM实现立体视觉的商业化实例

Mobileye驾驶辅助系统：交通信号检测; 碰撞前警告; 车道偏离警告; 行人碰撞警告

Mobileye技术方案弊端：
基于机器视觉感知的缺点是感知系统会受到复杂环境背景或恶劣天气的影响。

摄像头视觉感知的缺陷在良好的路面状况下，可以实现对车道的感知，但在恶劣道路条件下则难以实现道路环境的感知。因此，基于计算机视觉的感知实际上是一种适用于限定环境的技术。

算法与芯片“捆绑销售”，黑盒子模式限制用户创新，影响下游厂商合作意愿。Mobileye一直采用“算法+芯片”的捆绑销售模式，下游厂商灵活度较低，无法根据自己需求设计自动驾驶算法，很难获得自动驾驶过程中的关键性数据，因此在于Mobileye合作时会有更多顾虑；

Mobileye尚没有完全证明其在摄像头技术以外，更高级别自动驾驶系统上的综合和运算能力，包括与毫米波雷达和LiDAR等方面的整合能力。因此Mobileye仍需通过EyeQ芯片的持续迭代升级，但这一硬件层面的迭代还需要一定时间的积累与验证。

自动驾驶分级：
根据SAE（Society of Automation Engineers，国际自动机工程师协会）在2014年发布的关于自动驾驶汽车的分级标准，自动驾驶技术一共被分为5个等级：L1 辅助驾驶、L2 部分自动驾驶、L3 有条件自动驾驶、L4 高度自动驾驶和L5 完全自动驾驶。随着级别的升高，自动驾驶的程度也逐渐增加。

感知方案两派：
视觉主导：Mobileye坚持视觉系统，转用立体视觉建立3D环境模型。特斯拉抛弃激光雷达，借助算法弥补感知水平差距。
结合激光雷达的多传感器融合：大部分主流整车厂选择以激光雷达为主导。

预测趋势：
在短期内传感器市场将主要以摄像头+毫米波雷达为主，以视觉系统为主导的ADAS技术将成为行业主流，自动驾驶技术普遍仍停留在L3以下，激光雷达仍处于小规模测试与试用阶段；在3-5年之后，激光雷达成本有望大幅降低，高级自动驾驶技术日渐成熟，性能优异的激光雷达将成为主导系统，同时搭配摄像头与毫米波雷达等传感器，智能汽车将实现真正的多元传感器融合。
2.毫米波雷达
定义：
毫米波雷达，是一种使用天线发射波长1-10mm、频率24-300GHz 的毫米波作为放射波的雷达传感器，通过处理目标反射信号获取汽车与其他物体相对距离、相对速度、角度及运动方向等物理环境信息。毫米波雷达可根据所探知的物体信息对目标进行追踪和分类，电子控制单元（ECU）结合车身动态信息进行智能决策，通过声音、光线及触觉等多种传感方式告知驾驶者，或直接进行自动变速、制动处理，从而降低驾驶事故发生的概率。

作用：毫米波雷达运用24-300GHz的毫米波进行环境感知，可在恶劣天气或光线较暗条件下稳定工作，同时可以有效测量障碍物距离与方位。

测距测角度原理：

毫米波雷达测距原理是根据接收和发射毫米波的时间差来测算的。毫米波雷达将无线电波（毫米波）信号发出去，然后接收回波，根据收发的时间差测得目标的位置数据和相对距离。目前，市场上主流的方法是使用FMCW（调频连续波）调制方法来测距，通过振荡器形成持续变化的信号，而发出信号和接收信号之间形成频率差，其差值与发射-接收时间差成线性关系，只要通过频率差就能计算出接受与发射毫米波信号之间的时间差，从而测量出车辆与物体距离。

毫米波雷达测速是基于多普勒效应原理。所谓多普勒效应就是，当声音、光和无线电波等振动源与观测者有相对速度运动时，观测者所收到的振动频率与振动源所发出的频率有不同。也就是说，当发射的电磁波和被探测目标有相对移动，回波的频率会和发射波的频率不同。当目标向雷达天线靠近时，反射信号频率将高于发射信号频率；反之，当目标远离天线而去时，反射信号频率将低于发射信号频率。通过测量接受信号与发射信号的频率差，我们就可以得到相对速度。同时，毫米波雷达还可以实现角度测量。毫米波雷达拥有多个并列接收天线，每个接受天线之间距离为d，同一检测目标反射回来的电磁波信号在两个接受天线中的相位差为b，则物体相对毫米波的方位角即为arctan

【地平线机器人入职培训笔记-第二周】相关推荐

入职培训笔记记录--day2续（1、运算符 2、数据的输入与输出 3、控制语句）
再基础的东西也是要细心过一遍时间用的不多,但是还是有效果的. ---------------------------------------- 1.运算符 1.条件运算符(三目运算符): 表达式1 ? ...
入职培训笔记记录--day1
就是记录一下学习的内容,当然我自己容易忘记的我想特别的记录下来:大神见笑~ 补习c语言: 关键字(32个):由系统自定义,有特定含义,全部都是小写数据类型: char double enum flo ...
360需要的，不是打工者——周鸿祎在360新员工入职培训上的讲话
--在360新员工入职培训上的讲话我想给新入职的同事讲一讲我的期望,再提几个建议.我这个人喜欢说真话,不喜欢说漂亮话,因为漂亮话没用.但说真话,大家可能不爱听. 首先,大家一定要明白,你自己来360 ...
深职院入职培训心得2021
深职院入职培训心得2021 一.前言二.课程流水账 3.8 下午杨新斌校长党委书记 3.10 上午温希东副校长 3.10 下午马晓明副校长 3.11~12 素质拓展 3.15 上午王 ...
(转载)周鸿祎在360新员工入职培训上的讲话
周鸿祎在360新员工入职培训上的讲话这个是周鸿祎给入司360新员工的一段话,不但适合360,也适合所有的公司员工.特此分享. --在360新员工入职培训上的讲话我想给新入职的同事讲一讲我的期望,再 ...
华为新员工入职培训计划曝光！你留不住员工的原因就在这！ zz
华为新员工入职培训计划曝光!你留不住员工的原因就在这! 中铭智云商百家号18-04-1212:59 新员工的前6个月的培养周期往往体现出企业对于人才培养的重视程度,但许多企业往往只将重点放在前15天 ...
入职一家初创公司第一周的血与泪
入职一家初创公司第一周的血与泪也可用于面试题: 你在工作中遇到过哪些难题?你都是怎么解决的? 问题:Springboot在Window与Linux中图片回显不出来小程序后台管理系统,学员页面,学员 ...
当地的新员工入职培训
香港 (Xinwengao.com) - 在中国生活和工作的所有外国人都面临文化冲击.在他们的入职前期,学校管理层通常会让他们接受广泛的入职培训.这些培训项目旨在为外籍教师提供文化和专业培训.在外籍教 ...
知识点滴 - 新员工入职培训 New Employee Orientation (NEO)
新员工指导NEO的介绍新员工指导,通常由人力资源部门的会议牵头,一般包含以下方面的信息. 安全工作环境新的工作描述福利和福利资格员工的新经理和同事公司文化公司历史组织结构图其他与新员 ...

【地平线机器人入职培训笔记-第二周】

【地平线机器人入职培训笔记-第二周】相关推荐

最新文章

热门文章