汽车智能化,离不开硬件的迭代。

即将亮相的理想L9(理想ONE之后的第二款车)将搭载3D-ToF传感器,除了驾驶员眼睛注视和头部跟踪监控,还将作为理想自研的深度学习+多模态三维空间交互技术的主要硬件载体。

而此前,大部分用于检测驾驶员疲劳的驾驶员监测系统 (DMS)均采用成本较低的传统2D可见光摄像头(配合IR红外LED)。当应用需要高距离精度以及三维成像时,3D ToF具有明显的优势。

一般而言,ToF传感器的图像处理深度精度比2D摄像头(视频流)要高。例如,在一米距离内,ToF利用VCSEL(可选光源的一种)通常可实现1%(也就是1cm)的距离精度,而2D摄像头无法达到这种精度。

3D TOF发出均匀的表面光源,即使长距离也不会产生大量的衰减(和传统3D结构光技术相比);其次,TOF 3D镜头帧率较高,能够接收动态信息,更适合动态场景。同时,TOF技术还具有较低的功耗,适用于嵌入式开发应用。

这意味着,基于3D ToF开发的安全功能应用包括驾驶员疲劳检测功能,以及乘员/儿童座椅检测,可以实现更精确的安全气囊控制。使用ToF摄像头,还可以实现其他一些安全功能,例如手握方向盘检测、视线、头部姿势、身体姿势检测和高级安全带应用。

同时,从DMS到OMS,3D ToF还可以应用于物体遗留监测以及物体的分类和识别等。车内安全功能一般主要是防伪面部检测,用于实现可靠的驾驶员识别(比如,用于车门开锁、启动)以及在线支付安全授权。

此外,还有车外感知的应用,比如,基于3D ToF技术的Flash激光雷达。不过,和摄像头不同,激光雷达在应用场景、结构设计和发射光波长等方面存在不同。当然,摄像头成本更低。

一、

实际上,基于ToF的3D摄像头感知系统早在2015年前后已经上车,主要用于舱内手势交互功能。当时的系统QVGA分辨率较低(320x240像素),以及较窄的视场角。

但3D ToF的优势非常明确。

3D ToF是一种无扫描光探测和测距技术(调制光源主动照射物体),基于持续的光脉冲,从特定指向场景捕捉深度信息(通常在短距离)。

ToF技术路线以独特方式结合高分辨率深度和幅度(灰度)映射,可满足许多内部传感应用的需求。根据3D深度差异进行分类,而而无需前景和背景之间存在颜色或灰度对比即可在许多复杂的应用中识别人和物体。

此外,ToF摄像头可同时提供两个输出。第一个是深度图像视频流,输出伪彩色图像(其中彩色代表深度)或点云,再通过检测算法和神经网络进行处理。第二个是代表反射信号强度的幅度图像,又称置信度图像,近红外2D视频流,并且不受日光影响。

这其中,对于驾驶员监控系统来说,眼动追踪是核心技术,也是确保系统可靠性和准确度的关键。传统方式主要通过软件算法来解决,但基于深度传感相机显然可以实现更低的软件开发成本和更高的性能。

而对于DMS解决方案提供商以及主机厂来说,接下来舱内视觉感知交互是一个真正的挑战,因为法规正在聚焦L2+/L3级自动辅助驾驶的人机交互。

今年初,美国公路安全保险协会(IIHS)正式发布了一项针对辅助驾驶系统的新评级体系,明确要求搭载相关系统的新车必须采取安全措施(包括方向盘离手监测、驾驶员注意力监测),以帮助驾驶员保持专注。

此外,随着欧洲NCAP的新法规陆续实施,基于视觉的驾驶员监控功能将成为新车拿到五星评级的必要条件。按照计划,从2022年6月开始,所有进入欧盟市场的新车都必须配备类似的安全系统,包括驾驶员困倦和注意力警告。

目前,新车搭载视觉DMS系统,主要分为两类:一是作为座舱的交互体验升级,基于FaceID功能的延展,代替传统的非视觉监测系统;二是用于L2+/L3等高阶自动辅助驾驶系统的标配项,但后者的比重较低。

高工智能汽车研究院监测数据显示,2021年国内乘用车市场(不含进出口)标配视觉DMS(驾驶员监控)新车上险量为54.33万辆(同比增长228.87%),前装搭载率仅为2.66%。

此外,2021年度中国市场新车(不含进出口)前装标配搭载L2级ADAS功能上险量为395.62万辆,不过,同时搭载DMS舱内视觉监测系统的比例不到20%。

这意味着,驾驶员监控系统的门槛将进一步提升,仅仅基于人脸识别(简单的常见模式,比如,头部运动、打哈欠、眼睑闭合)的低价方案将被“淘汰出局”。眼球跟踪(凝视方向)、面部表情及情绪监测等更精准技术将成为主流趋势。

英伟达公司相关负责人表示,融合不同的传感器是增强座舱监控系统鲁棒性的重要方法。3D ToF图像传感器可以在恶劣的光照条件下捕捉深度和红外图像,这是现有传统方案的最大瓶颈。

二、

市场需求的变化,间接带动前装方案尤其是硬件的变化。就在今年初,英飞凌开始在中国市场启动3D TOF前装量产的“热身”。

比如,结合3D ToF和RGB摄像头,可以实现低光/暗光场景下得到高质量的深度信息。同时,在3D建模、AR/VR在内的更多场景,还有人脸识别和移动支付等对安全性要求极高的应用场景,提供精准可靠的数据。

比如,拿到理想量产定点的虹软科技,就是英飞凌在中国的合作伙伴,并将ArcSoft ToF 3D Face ID应用(此前在手机行业)拓展至汽车领域,通过检测深度信息,实现车载人脸识别防伪以及舱内人机交互。

由于TOF具备鲁棒性、高准确性以及在低光下的高性能,比如,ArcSoft ToF DMS可以有效辅助DMS检测驾驶员的头部姿态和位置坐标信息,大大提升驾驶员分心/危险行为检测的准确率。

此外,ArcSoft ToF OMS可对乘客所处的位置进行更精准的判断,以便在发生事故时可以通过计算乘客头部、身体的姿态,弹出安全气囊时可以控制对应的角度和强度做到更有效的防护等等。

更关键的是数据安全。

3D ToF技术路线将物体的三维轮廓以不同颜色代表不同距离的方式呈现出虚拟图像(类似点云),而并非RGB彩色图像,实现获得人的轮廓和行为,而不会造成隐私问题。

而另一家3D ToF全栈自研方案商——奥锐达,依托母公司奥比中光的3D视觉传感技术研发资源,在车载3D视觉领域提供可模块化定制产品及解决方案。

该公司认为,以3D视觉感知为代表的生物识别技术已经在手机、线下零售刷脸支付等行业实现成熟商用,而在智能汽车行业,3D视觉感知技术的应用才刚刚兴起,具有着广阔的市场空间。

目前,奥锐达已经开发出车规级面向前装市场的车载3D TOF人脸识别摄像头。客户可基于该模组开发车内物品检测、乘客属性分析、刷脸开门、车载3D Face ID、驾驶行为检测、手势识别等智能座舱应用。

此外,这套车载3D TOF摄像头方案,以车规级3D iTOF系统参考设计,主动成像抗干扰性好,适用车内外各种场景。同时,模组可定制结构设计,“身型”小巧,可以灵活匹配到各种车内安装位置上,并适配高通、NXP、TI等多个汽车级硬件平台。

更关键的来自于3D ToF技术在舱内交互上的方案复用。

而在英飞凌看来,3D ToF和传统方案的对比,应该放在整车系统级BOM成本进行考量。“ToF摄像头可以减少座椅和安全带等其他传感器等电子系统的BOM用料。”

同时,在车外环境,相对成熟的短距Flash激光雷达(10米探测范围内),可以支持自动代客泊车功能,而摄像头则可以支持3D身份验证的人脸识别。

按照ToF传感芯片方案供应商Melexis的说法,在实现人脸识别、驾驶员监测系统功能的同时,3D ToF技术的精准眼球视线定位能力,可同时协助AR HUD实现动态校正。

乘用车前装视觉DMS搭载率不到3%,3D ToF进入量产周期相关推荐

  1. 2021年前装首破5万辆 AR HUD“棋逢对手”,竞逐量产桂冠

    AR HUD作为未来智能汽车的关键组成部分,正在迎来一波新的爆发潮. 高工智能汽车研究院监测数据显示,2021年中国市场(乘用车自主/合资/独资)新车前装标配搭载HUD(W/AR)上险量为109.45 ...

  2. 2025年前装搭载率突破30%,资本/车企持续加码新赛道

    作为智能座舱下一代人机交互的关键角色,HUD(包括大尺寸W-HUD以及AR HUD)前装市场正在进入一个关键的成长周期,尤其是AR HUD带来的体验升级,进一步驱动需求释放. "之前大家都是 ...

  3. 智能泊车进入「搭载率」攀升期,年度竞争力TOP10供应商榜单发布

    智能泊车系统包含辅助泊车.记忆泊车.自主泊车及智能召唤四类主流应用场景,从2019年开始,随着技术架构转向全景环视+超声波融合方案,再加上计算平台能力提升.与智能驾驶或智能座舱共用控制器(比如,行泊一 ...

  4. 车载激光雷达「攻坚」前装量产,市场份额被谁抢走了?

    随着禾赛科技正式登陆纳斯达克,成为中国激光雷达公司美股IPO上市第一股,作为目前前装上车最昂贵的传感器,高阶智能驾驶的渗透率以及车企的配置率再次成为焦点. 从过去近二十年的车载激光雷达历史来看,整个行 ...

  5. 从上半年智能驾驶前装量产数据看市场走势,你的机会在哪里?

    日前,高工智能汽车研究院发布<2022年上半年智能驾驶供应链数据报告>,对产业格局.市场发展趋势.细分赛道机会风险等进行了多层次解读. 在智能驾驶板块,2022年上半年的市场态势可以说是调 ...

  6. 榜单!座舱域控前装搭载率逼近10%,「降本提效」驱动高成长

    将传统分布式功能集中到不同域控制器(主动安全.用户体验.车身和底盘等),是整车向下一代中央集中式电子架构演进的第一步:同时,也带来整个供应链体系的变革,从芯片到Tier1. 其中,智能座舱作为前装渗透 ...

  7. OTA前装搭载率逼近50%,哪些供应商正在领跑细分赛道

    智能汽车的OTA,正在进入新发展周期. 早期的OTA,主要围绕座舱信息娱乐.T-BOX及少部分车内其他ECU,主要目的是修复软件Bug以及改进用户体验,降低整车的召回成本.这个阶段,OTA对应的整车电 ...

  8. 2025年前装搭载率突破25%!W/AR HUD市场正在涌入更多玩家

    "下一代AR HUD技术不仅将取代导航和仪表功能,还将进一步融合信息娱乐系统等互联汽车解决方案,成为新的增长引擎."这是现代摩比斯信息显示部门负责人的观点,这家公司在2020年与英 ...

  9. AEB前装搭载率逼近50%,沃尔沃「标配」激光雷达释放信号

    对于智能辅助驾驶来说,AEB一直是疑难杂症.一方面,AEB的搭载率仍处于向上提升周期:另一方面,AEB的测试标准,尤其是相对较低的准入门槛,导致市场的参差不齐. 高工智能汽车研究院监测数据显示,今年1 ...

最新文章

  1. R语言sys方法:sys.chmod函数改变指定文件的权限、Sys.Date函数返回系统的当前日期、Sys.time函数返回系统的当前时间
  2. Go 面向对象编程应用
  3. Effective C++学习笔记——构造/析构/拷贝运算
  4. LNK2019无法解析的外部符号 public: static struct cv::Ptr class cv::xfeatures2d::SURF问题解决
  5. Facebook在欧洲推出网络极端内容与仇恨言论打压行动
  6. mysqldump备份还原
  7. 商业认知,在投资的时候,为什么别人是经常赚钱,而你却是亏损不断,让我们亏损的根源是什么?
  8. android 旋转生命周期,生命周期-如何区分方向更改和离开应用程序android
  9. 【M1芯片兼容】MP3 Audio Recorder for Mac - MP3录音工具
  10. 总结:OSI七层协议
  11. 适合Mac版的即时翻译软件
  12. 做自己想做的工作,你也可以
  13. 经典编程习题,用Java实现:矩阵转置、最大公约数和最小公倍数、计算自然对数的底e的值、输出1000以内的回文素数、判断两个年份之间的平闰年情况。
  14. Android开发辅助工具类 Utils
  15. Kanzi: kanzi 学习:kanzi触发器参考
  16. iOS 开发怎么入门?
  17. C语言————exec函数族
  18. rtsp播放h265(hevc)
  19. 2014-5-20 摇摇车现在已经是思杨的完美座驾了
  20. 红旗 linux 8,中科红旗Asianux Server Linux 8有何突出之处,附新功能介绍

热门文章

  1. (王道计算机组成原理)第一章计算机系统概述-第二节:计算机硬件组成(存储器、运算器和控制器概述及计算机工作过程详解)
  2. 升序排序,奇数在偶数之前
  3. 备战双十一购物狂欢节大促的四个重要阶段
  4. 监控宝与zenoss监控之对比
  5. InputStream 转成 MultipartFile
  6. matlab的k s检验,K-S 检验(Kolmogorov–Smirnov  kurtosis-skewness)
  7. Oracle 字符串拼接
  8. 【whr的深度学习总结1】使用Matconvnet训练imbalance全连接网络
  9. 多人共同使用一个github的仓库,实现版本管理,多人开发一个项目
  10. Java Agent简介及使用Byte Buddy和AspectJ LTW监控方法执行耗时