点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

本文来源:智车科技

导读 /

埃隆·马斯克一直在诟病激光雷达的成本,现在激光雷达便宜的竞争者来了,他应该点赞哦。不过,特斯拉至今没有搭载,咋的了?

埃隆·马斯克的特斯拉打死也不搭载激光雷达(LiDAR)自有其道理,但也没能找到让尚处于自动驾驶起步阶段的车辆发现未经机器学习训练的庞然大物的方法,以至于因“视而不见”而事故不断,当然,无端突然加速又是另外一回事了。

事实上,近年来马斯克爱用的摄像头方案已有了新的进展,引起了主机厂和Tier 1极大的关注和采用,它就是立体视觉(StereoVision)技术,也有人叫它3D感测或双目摄像头,当然还有多目摄像头。今天就来聊聊这个双目摄像头的一些事儿。

特斯拉黑客的发现

谈到一种技术,人们总要看电动汽车的领头羊特斯拉是怎么做的,双目摄像头自然也不能例外。

最近,特斯拉黑客@greentheonly在Autopilot代码中观察到Tesla Semi卡车的10个摄像头设置,发现了Semi可能会安装10个摄像头的提示。他说:“Semi的第十个摄像头被列为“右中继器(Repeater)2”,这是相当有趣的,在Class 8卡车位于中央驾驶位置。车辆控制器‘HW3.2’也提到了Semi的10个摄像头设置。所以只有一个右中继器是不够的。”不过,上述发现没有涉及双目立体视觉之类的摄像头。

此前,Model 3车主Erik J. Martin曾路遇一辆路测的Semi原型车,它配备了26个摄像头。特斯拉工程师当时表示,量产版Semi车型不会配备那么多摄像头。那么,除了Green发现的10个摄像头,另外16个又是什么样的摄像头呢?

其实,早在2016年,在Model S上测试的特斯拉Autopilot 2.0硬件就可能有“某种双目镜头相机,在驾驶员一侧有一个吸盘支架,看起来像一副小望远镜。支架下面是一个非常大的中心镜头,看起来很像警车的行车记录仪。”驾驶员侧的大镜头是一个较小的单元,看起来像是面对路边。这些附加摄像头都没有成为Model S或Model X当前Autopilot传感器套件的一部分。为什么?最后会分析。

特斯拉Autopilot 2.0硬件曾有双目摄像头

地主家有没有余粮啊

就目前来说,特斯拉只能算新能源领域的豪车,尚无法与传统意义上的豪车相提并论。看看那些典型豪华车:奔驰S级和E级、宝马7系和5系、雷克萨斯LS系列、路虎Discovery Sport SUV、捷豹XFL、XE,都搭载了双目摄像头。

双目摄像头已上路

目前,全球主要双目系统供应商有德国大陆、博世、韩国LG、日本日立和日本电装,国内也有中科慧眼等双目相机头部企业,这些厂商的主要工作是使双目相机能够具备较好的障碍物分类能力。

两个“眼睛”的双目摄像头

那真正的豪华车为什么与“新贵”一样不使用测距很精确,视角也很大,覆盖面更广的LiDAR呢?最主要的原因还是成本太高,豪华车也不能不计成本呀!

“现在,L4自动驾驶所需64线LiDAR的成本约为8-10万美元,而在改装第一代自动驾驶时大概花了两百万人民币。”一位业内人士透露。其中,LiDAR是公认最花钱的地方之一。分辨率底很多的16线LiDAR也要约4千美元。一些初创公司如Oryx Vision、Oryx Vision、Quanergy都在研发替代旋转式LiDAR的全固态LiDAR,但是,即使这样,后者的价格还是在近千美元,况且成熟度有待考量。性能好的LiDAR与双目摄像头相比不相上下,而价格却一个是“很高”,另一个是“中等”。

Innoviz联合创始人兼CEO Omer Keilaf也承认:“针对L3自动驾驶,主机厂通常只愿意为LiDAR付1000美元;对于L2车型,他们只愿付400到500美元。”面对激烈的市场竞争,哪家主机厂会不计成本为车辆增加更多功能呢?

实锤还要看性能

现代汽车中使用的各种传感器都是为了安全相关的感测目的,其实并无优劣之分,各有各的用处。自动驾驶车辆通常部署多个传感器系统用于环境感知,LiDAR、雷达和摄像头模块最受欢迎。这些传感器系统协同工作,提供对外部世界车辆、行人、骑自行车的人、标志等的综合表示,其重叠功能也会产生冗余,确保在一个系统出现故障时,另一个系统会填补这一空白。来看看三种方案的对比。

·雷达:是大多数汽车传感器套件的一个组成部分,也是一种成本相对较低、可靠且经过时间考验的技术,能够在合理距离内探测到较大的物体,并且在弱光和恶劣天气情况下表现良好,这也是其在汽车领域的强大优势。然而,由于很难探测到较小的物体并识别已探测到的物体,因此雷达只是解决方案的一个组成部分,即主要感测方式(LiDAR或摄像头)的重要补充。

·LiDAR:通过测量激光信号从物体上返回到本地传感器所需的时间来测量距离。它使用与声纳相似的原理,通过发射激光脉冲并测量这些信号从物体上弹回接收器所需的时间来确定车辆与环境之间的距离。

·双目摄像头:成对儿使用的摄像头(即立体视觉)也可提供距离估计,它基于从相邻的两个视角(即两个摄像头)获取同一环境的两幅独立图像来估计距离,是视觉信息的三角测量结果。下图显示了双目摄像头的简单原理。

利用两个摄像头视差变化精准判断距离

与人类双眼成像原理相同,利用左相机和右相机同步对场景进行成像,近处物体在左右眼之间的位置变化比较大,而远处的物体在左右眼中的位置差异较小。这就是视差,坐标系中的每一点距立体相机的距离都可以通过视差来转化。

由于立体摄像头有两个“眼睛”,能够利用一个摄像头拍摄的图像中的差异来检测每种类型的障碍物,从掉在道路上的物品到人、动物和道路边界,并可以确定它们的大小和到它们的距离,实现物体、车辆和行人检测。LiDAR与双目摄像头的优缺点在下表中一目了然。

LiDAR与双目摄像头的优缺点

比起LiDAR,双目摄像头最大的优势是成本,价格在几千元人民币。另外就是不用裸露在车外,维护成本低。此外,与成为豪华车首选的双目摄像头相比,LiDAR车载功能单一,无法识别颜色(刹车灯)。双目摄像头不仅能精确测量距离,还可以识别刹车灯、车道线、路旁交通标志等。

中科慧眼COO孟然表示:“随着更高等级自动驾驶系统的技术成熟和市场应用,双目天然的测量精度优势,加上干扰较少,可以使其在未来的发展中生命周期更长。

立体视觉算法结合立体摄像头的实时高精度深度图(冷色调表示远,暖色调表示近)

特斯拉还是“比目鱼”

我们人类闭着一只眼也能感受到深度,因为视野中包含了很多深度相关的语义线索,例如物体大小、消失点等;自然界中还真存在依靠单目感知的生物,例如比目鱼。其实比目鱼也是双目,只不过两眼离得很近罢了。

特斯拉有点像它,那为什么它敢以目前的单目摄像头为主传感器呢?因为单目成本最低,所以才把重点放在单目上。之所以敢用,是因为它用实践证明了单目可行和好用。

众所周知,目前主流摄像头只能提供2D图像信息,缺少深度。使用摄像头作主传感器的主要难点就在于深度恢复。而自动驾驶的路径规划需要有3D道路信息和3D障碍物信息。如果摄像头想成为主传感器,就必须能够提供准确的深度感知。从特斯拉公开的资料看,其深度恢复做的相当好,为感知、定位和规划提供了坚实的基础。不过,这样做必须让系统训练有素,虽然它有海量数据可以用来训练深度模型,但实际上仍无法保证能正确处理所有场景。所以,一旦出现深度预测失准,出现训练的“漏网之鱼”,就会错误估计道路环境和障碍物位置,可能车毁人亡。

事实上,LiDAR和HDMap(高精地图)都可以可以作为额外的安全保障,但为了宽慰消费者和投资者,马斯克必须控制成本,抛弃LiDAR的理由主要是太贵。马斯克还有虚晃的一枪:2020年底就实现完全自动驾驶,但遇到实操时却说:Autopilot只能作为L2使用,出了事故还是用户背锅。2020年9月,加拿大一车主就被这漂亮的甩锅砸中,因“滥用”Autopilot超速而受到犯罪指控。

被指控车辆貌似“无人”驾驶

特斯拉还玩不转立体视觉?

摄像头越用越多,怎么选择?特斯拉任何车型至今没有搭载双目摄像头,这一直是个谜。

使用单目摄像头获得距离信息,必须先识别目标。而双目摄像头需要对每一个像素点进行立体匹配,需要超大运算量,但算法简单,适合用FPGA来完成,佐思产研研究总监周彦武认为:“FPGA不是特斯拉这种小厂能玩得转的。”

2020年4月,特斯拉收购了一家专注于开发计算机视觉技术的初创公司DeepScale,以提高其算法能力。特斯拉的深度学习网络HydraNet包含48个不同的神经网络,每个时间步输出1000个不同的张量(tensor)即预测;理论上,HydraNet可以同时检测1000个物体。

同时,特斯拉还发布了自主研发设计的芯片Tesla FSD,作为一款FPGA芯片,它集成了60亿个晶体管和2.5亿个逻辑门,每颗处理器内部有多达12个ARM A72 CPU核。马斯克称之为世界上最强大的芯片,性能是之前是用的NVIDIA方案的21倍,而且不只是性能强大,更关键是安全,任何一个模块挂掉,汽车都会继续正常行驶,故障率甚至比人失去意识的可能性还要低一个数量级。不过,至今尚无下文,没有车型搭载。

半导体供应商和主机厂紧锣密鼓

2020年8月,在日本市场销售的新款斯巴鲁Levorg的高级驾驶辅助系统(ADAS)搭载了FPGA头部企业Xilinx汽车认证Zynq UltraScale+多处理器片上系统(MPSoC)。

双目组件上的FPGA已在量产车中发挥关键作用

典型ADAS具有多种功能,包括自适应巡航控制、车道保持辅助和摇摆警告、碰撞前感测和发动机油门控制。斯巴鲁的专有ADAS称为Eyesight,基于立体视觉技术,2020和2021年几款车型都将采用。

立体视觉系统生成两种类型环境数据,一是基于高程(elevation)测量的复杂驾驶环境密度图,二是由参数化车道、跟踪长方体和行人组成的一系列几何元素。这些计算元素既耗时又密集。为了根据接收到的环境数据进行实时决策,系统需要大量的数据带宽和处理能力,因此并行性是必须的。这就是Xilinx UltraScale+SoC的用武之地。

Zynq UltraScale+MPSoC为ADAS提供了关键功能,Xilinx IP核上的高精度3D点云有助于产生立体视觉;Xilinx FPGA进行高速并行视频和图像处理,算法处理由Arm Cortex-A53处理,实时事件由Arm Cortex-R5处理。

汽车级Zynq UltraScale+MPSoC框图

斯巴鲁首席技术官Tetsuo Fujinuki表示:“立体摄像头是斯巴鲁ADAS应用的核心。与普通方法不同,我们新一代系统采用的图像处理技术可扫描立体摄像头捕捉的所有东西,并创建高精度3D点云,使我们能够提供先进的功能,例如在交叉口进行碰撞前制动,在高速公路和交通拥堵时协助放手驾驶。”

他补充说:“由于Xilinx汽车器件具有内置功能,使我们能够满足严格的ASIL要求,因此它们无疑是实现斯巴鲁新ADAS视觉系统的最佳技术。”

ADAS双目感知进入AI时代

双目系统成本比单目系统要高,但尚处于可接受范围内,且与激光雷达等方案相比成本较低,但计算量级的加倍是难关也是突破口。

过去,传统双目摄像头不能区分障碍物类型,仅仅是将前方障碍物检测或测量出来,在实际应用中难以满足要求。现在,利用先进处理器和人工智能算法,双目摄像头已能够具备较好的障碍物分类能力和量产实用性。值得我们期待的是,双目系统的门槛将正在逐步降低,未来将进入更多车型。

- End -

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。

下载3

在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

车载双目摄像头,为什么特斯拉还在迟疑?相关推荐

  1. 为什么中高档汽车都使用双目摄像头?

    [转] https://www.leiphone.com/news/201711/ntO1B8soTTJcSN2m.html 双目摄像头可以完成所有单目摄像头能完成的功能,同时能够获得后者永远无法企及 ...

  2. python怎么让摄像头图像暂停然后在启动_双目摄像头测量距离

    前言 在计算机视觉中,可以通过双目摄像头实现,常用的有BM 算法和SGBM 算法等,双目测距跟激光不同,双目测距不需要激光光源,是人眼安全的,只需要摄像头,成本非常底,也用于应用到大多数的项目中.本章 ...

  3. vins中imu融合_双目版 VINS 项目发布,小觅双目摄像头作为双目惯导相机被推荐...

    继 VINS-Mono 和 VINS-Mobile 之后,香港科技大学沈劭劼老师实验室正式发布了双目版 VINS 开源项目 VINS-Fusion .项目推荐了小觅双目摄像头标准版(MYNT EYE ...

  4. 双目摄像头和单目摄像头_挑战激光雷达,MAXIEYE要重新定义单目摄像头?

    周圣砚认为:以往业内对单目摄像头的顾虑更像是一种偏见,并非不能逾越的鸿沟,而偏见正是用来打破的. 作者 | 安琪 自动驾驶的"唯激光雷达论"正在受到冲击. 前不久恩智浦的全球CTO ...

  5. 百度AI市场热品试用 | 视派尔近红外活体识别双目摄像头模组

    给大家分享近期关注度较高的一款商品,来自于视派尔的近红外活体识别免驱USB接口高清双目摄像头模组.我们先来看看它的外包装和产品外观. 相机标配两条2.2米USB连接线(长度可选长或短),静电袋封装,内 ...

  6. 关于英伟达jetson nano的搭配双目摄像头跑ORB_SLAM2

    1.安装系统 按照商家给的资料安装,将Ubuntu18.04LTS镜像拷贝到tf卡中,插上jetson nano就可以安装了. 2.系统设置 进入系统我先把系统语言设置为中文,在右上角的设置中找到系统 ...

  7. 双目摄像头——活体检测

    随着人脸识别技术应用越来越广泛,安全性也越来越成为焦点.处于对隐私信息泄露的担忧,公民还是要求人脸识别行业尽快规范标准.提升技术水平.使的生物识别技术不仅能够独立应用还能与其他身份证识别等OCR识别技 ...

  8. Python+OpenCV+pyQt5录制双目摄像头视频

    #Python+OpenCV+pyQt5录制双目摄像头视频 ##起因 说起来录制视频,我们可能有很多的软件,但是比较坑的是,好像很少的软件支持能够同时录制两个摄像头的视频,于是我们用python自己写 ...

  9. 【手把手教你用Matlab做双目摄像头标定】Ubuntu环境

    [手把手教你用Matlab做双目摄像头标定] Ubuntu20.04环境 准备工作 你需要一个标定板 你需要一个双目摄像头 获取双目摄像头的设备号 跑起来看看 分割图像并完成拍照 使用Matlab进行 ...

  10. 双目摄像头(CSI-IMX219)的标定

    1.介绍 网上关于这类标定有挺多教程的,但由于这个摄像头的特殊性,所以不可能完全安装教程来走. 目前来说有3种标定方法: ROS操作系统来标定 matlab标定 opencv标定 这三种方法我先试了用 ...

最新文章

  1. 2021年3月19日 百度开发实习面试(质量效能研发部)(一面)
  2. 线性回归——lasso回归和岭回归(ridge regression)
  3. 详解CSS选择器、优先级与匹配原理
  4. python中seed的用法_Python中的seed()方法怎么用
  5. Java 读取excl
  6. filter在CSS中的效果
  7. IDEA 工具从Json自动生成JavaBean
  8. Hyperledger Fabric的区块结构 交易结构
  9. C# BitConverterExt 对BitConverter的GetBytes 方法扩展
  10. 压缩包密码破解-PkCrack(明文攻击)
  11. 基本知识 100155
  12. java pdf 富文本_Java生成pdf,兼富文本
  13. 荣耀MagicBook 2019 Intel版发布:性能新升级 续航长达15小时!
  14. unity教程:MMORPG网络游戏如何实现玩家同步
  15. 【带你快速了解人工智能开发Python基础课程第二周】
  16. C++ 面向对象、内存管理
  17. SpringCloud调用接口流程
  18. 线上服务导致cpu飙升问题排查
  19. c#键盘事件代码keychar
  20. java为什么计算时间从1970年1月1日开始

热门文章

  1. 从架构到平台, POWER 9处理器最全解读
  2. Radasm出现error LNK2001
  3. python应对反爬虫策略_python解决网站的反爬虫策略总结
  4. RFC 2544 性能测试
  5. axi时序图_AXI总线协议时序
  6. linux/ubuntu16.04系统上snowboy swig源码安装及使用全记录和遇到的错误
  7. jsBarcode生成条形码
  8. 如何查询Opencv的版本
  9. Ubuntu server树莓派版本默认用户名密码及密码修改
  10. Windows10下载CUDA总是下载失败的解决方案