车主因眼睛小被自动驾驶误判?——智能座舱CV体验的经典corner case剖析 by 资深AI产品经理@方舟...
前言:最近两天,“车主因眼睛小被自动驾驶误判”冲上热搜、顺势破圈,而咱们“AI产品经理大本营”微信群里,不仅有很多PM在激烈讨论,还有一位智能座舱CV领域的资深AI产品经理@方舟,用心分享了自己的一线实战心得。关于这个问题,本文可能是目前全网最具实战价值的产品视角干货了。
大家好,我是方舟。前天突然发酵的一个热搜引爆朋友圈——“车主因眼睛小被自动驾驶误判”。由于智能座舱的DMS(驾驶员监控系统,driver monitoring system)恰好也是我的工作研究范围,今天特别想就聊一聊相关的一些问题,比如
“识别小眼睛”到底难不难?
有没更好办法判别“司机疲劳”?
DMS到底是不是刚需?
1
话题破圈
小鹏汽车CEO何小鹏转发了一个用户对DMS的吐槽:
这个话题在AI产品经理大本营的微信群内迅速升温(相关聊天精华详见:https://shimo.im/docs/uMOIisCTj6wriojs )
作为从业者,DMS是我们耳熟能详的名词,不过由于当前量产车的搭载率和使用率并不高,所以对普通老百姓而言,DMS仍是一个陌生功能。这次事件以“小眼睛误识别”作为爆点,让DMS乃至智能座舱应用都得到了破圈的关注度,对智能汽车行业可能也是好事。
接下来,结合个人对DMS产品的设计和落地经验,我从不同的角度浅谈一下相关体会和思考。
2
“识别小眼睛”到底难不难?
小眼睛的司机被DMS系统误检为闭眼,看似是一个荒唐的corner case,实际上确实是业界难题。这里不仅有算法模型本身的难度,同时还有硬件和策略问题。
1、硬件问题
1)摄像头
目前汽车舱内摄像头的像素,完全无法和手机的相比。
目前消费级的手机摄像头,像素1000W都算低的,但市面上已稳定量产的车内摄像头,像素超过100W都很难;最新待量产或者少量刚刚上市的最新DMS摄像头,像素普遍200W。
“像素少”带来的后果就是,能够给AI提供的信息输入源就少,这样,就会带来算法难度和算力需求的提升。
上图中聊天记录中,小鹏内部人员所说“眼睛占用像素太小了”,也正是这个意思。车内摄像头像素本来就很弱了,眼睛再要小到像李荣浩一样的话,确实有点难为AI不是。
除此之外,某些“座舱内饰设计”导致摄像头安装位置不理想,或者“驾驶员眼镜度数较高”导致眼部关键点偏移等,这些不可抗的外部因素,都有可能带来原子能力的识别异常。
座舱内摄像头的成像质量、预处理能力、像素值提高,有待整个产业链一起努力(包括camera sensor、lens、isp厂家等);按照盖世汽车的结论,到2025年,舱内摄像头的像素目标会奔向500W(这个结论,也基本上与国外相关研究机构的报告吻合)。
2)芯片
除了摄像头硬件,DMS功能也依赖座舱域算力硬件,也就是芯片。
当前智能座舱的应用程序五花八门、琳琅满目,但座舱域控制器芯片的算力却还远不如手机,几年前DMS刚上车的时候,高通820A或者瑞萨等已经算比较好的芯片,但是匀给DMS功能的算力,有的还不到1K Dmips,虽然现在随着8155以及后续8295的快速迭代和上车,算力问题稍有改善,但其他需要大量算力的应用(如地图渲染、全车语音等)也会有越来越多的增量算力诉求,就好像有一块大蛋糕,需要各个模块battle来分。有过AI开发经验的人都明白一个道理,抛开算力谈性能,和抛开剂量谈疗效是一个道理。
3)智能汽车的前装模式限制了改装的便捷性
汽车不像电脑,游戏太卡就加装个GPU,再综合考虑到各种硬件的车规级要求,以及功能安全等复杂的开发流程,很难在已量产的功能上进行硬件叠加,特别DMS这种保命功能,涉及到汽车安全性,需要严密的测试和质量流程。
2、策略问题
汽车DMS功能和人体生理疲劳的研究,是欧美国家最先开始的。他们发现,在人的所有面部信息当中,与疲劳相对关联性比较高的特征是眼部特征,例如闭眼、眨眼频率、眼部开合度(perclos)等。
欧美人种眼睛天生又圆又大(小眼睛情况非常罕见),如果基于perclos方法的定义来判断,大多数欧美人都能够有比较均衡的眼部开合度情况,实操下来可能效果还行。
但是,这类研究结论生搬硬套到中国后,出现了水土不服:亚太人种中,小眼睛占比高,文中所提到的corner case就会更加常见。可以说,类似的corner case看似是一个戏虐的意外,但在我们实际工作中(特别是国产车、日韩系车等),几乎是每个交付案例中都会遇到和需要解释的情况(李荣浩每次躺枪,每次都拿他举例)。
因此,通常在国内量产车的业务实现中,对于眼睛小到一定程度的驾驶员,我们往往会在策略中进行定向过滤,这是对当前业界算法能力和硬件条件下的一种妥协权衡。
总的而言,DMS对小眼睛的识别效果确实是一个业界难题。基于我自己以往的研究和交付经验,虽然小鹏明确表示要优化这个问题,但是要从原子能力层面彻底根治这个corner case,肯定还需要较长的时间以及行业共同努力。但是在业务策略层面,优化对于小眼睛人群的DMS使用体验,相信能够很快出一套应急方案。
3
有没更好办法判别“司机疲劳”?
为了解决驾驶过程中的司机疲劳判断,过去几十年,国内外学术界和产业界都做了非常多的研究和尝试。研究方向大体可以分为三类:基于车辆信息(车控)、基于生物传感信息(心率、血压、脑电波等)、基于视觉传感器(人体面部特征)。
除了基于视觉摄像头的DMS系统之外,国外也有很多车企是将车辆的动态数据作为判断驾驶员分心和疲劳判定依据(比如宝马、大众、奥迪等),并且,人家是几十年前就开始做这样的尝试了。但是,正如大家目前所感受到的,在行车运动场景下准确的判断驾驶员的实时状态,在全球范围内,我们依然找不出任何一款车做的有多好。
对人体疲劳生理研究稍有了解的朋友可能会问,很多研究机构用脑电波研究人体疲劳,是否可以采用到汽车的DMS系统中呢?
诚然,“脑电波”被认为是与疲劳关联性的“金指标”,很多医学机构或者研究机构,会用脑电波的监测仪器来监测人体的生理状态,也有一些DMS检测中心,会用脑电波来校准测试驾驶员的状态。但是,相应的仪器价格昂贵(如果还要满足车规,成本只会更贵),这样的设备放在量产车中,从成本上考虑不现实。
当前,大众对DMS功能接受程度普遍不高,不会有多少消费者愿意为此增加购车成本。因此,基于脑电波的DMS疲劳研究,目前也仅存在于学术研究机构中。
除此之外,基于方向盘嵌入芯片检测人体阻抗、基于OMS摄像头的PPG原理检测心率等各种脑洞方法,都有人一本正经的研究过。那在量产车上,为何仍没有产出更有效的监测方案呢?一句话概括就是:综合成本、安全性、稳定性、座舱内饰、整车工程等各种角度的考虑,这些idea暂时都无法有效落地。所以目前看,国内外DMS的研究方向,似乎都殊途同归、走向了舱内摄像头。
当然,DMS领域也不会止步不前,无论OEM还是Tier 1 都在想着各种方法。有一些专家希望把车控、生理特征、面部特征等相关的各种因素融合在一起综合判断;理论上,当特征集足够大时,单一特征对整体结果的影响权重就会降低,这样即使某个驾驶员在单一特征有异常识别状态,基于所有特征的校准后,也可以得到相对稳定的结果。
另外再多分享下,目前DMS功能有以下两个特别明显的趋势:趋势一 ,DMS与OMS融合为座舱监控系统,为座舱多样功能提供技术基础。趋势二 ,车内外视觉与其他传感数据融合,车内外安全一体化。
4
DMS到底是不是刚需?
可以明确的是,在智能汽车浪潮中,DMS的刚需程度将会越来越强(无论从法规层面还是需求层面)。
DMS的强制准入法规,在欧洲已立法通过(国内还没有),驾驶员检测系统行业标准在欧洲执行的更为激进。在智能汽车行业中,中国往往会紧跟欧标和联合国规范的步调,不出意外,我国DMS功能的强制性上车只会是时间问题。
2021年,推荐性国家标准《驾驶员注意力监测系统性能要求及试验方法》,由汽标委智能网联汽车分标委完成审查;该标准主要对“基于视觉识别的驾驶员注意力监测系统”提出了明确的技术要求及测试方法。
2022年4月,作为中国最具影响力的第三方测评规程,CNCAP(中国新车评价规程)发布了2022-2028路线图,并计划于2025年版本中,增加驾驶员监测功能的测试要求,以加速驾驶员监测功能的普及。
另外,欧盟EU-771法规,将驾驶员疲劳分为9个等级、并要求系统应具备识别7级及以上疲劳状态的能力。该法规计划于2022年7月配合EU 2019/2144实施,并将要求欧盟上市车辆具备驾驶员疲劳监测的功能。和国内标准相比,欧盟发布的EU-771法规测试方法更偏向于主观测试。
在业务层面,随着高级辅助驾驶在智能汽车中的逐步渗透(甚至到自动驾驶的落地),对驾驶员甚至乘客的监控要求都会适时发生变化。在这个产业浪潮递进的过程中,DMS可能会陪伴智能汽车度过好几十年。
很多互联网出身的产品经理,在新产品中经常喜欢谈论“创新”和“价值”,但是在汽车产业中,除了以上两点,还有一个更重要的就是“底线”——DMS产品就是一个典型的以“底线”为前提的产品,首先守住安全的“底线”,才能谈论体验上的“创新”和“价值”。
5
写在最后
这次“小眼睛误识别”事件,既是DMS模块一个典型的corner case,也是整个智能汽车产业现阶段疑难问题的一个缩影。
对我个人而言,看到自己正在做的事情破圈到大众视野中,我是非常兴奋和激动的;同时也非常确信,在这个产业链中各个玩家的努力下,一个又一个corner case都将被一一解决。
最后,我突然想到前几天一位同行说的话:当下这个行业,很多人都在做创新,但是这其中,也有很多人在做无效创新;当基本问题、基本体验都还没解决好的情况下,对消费者而言,是否需要更多的创新呢?
我希望我会一直带着这个问题投入到行业探索中。
ps,希望和作者直接交流的朋友,可以关注其公众号——
以上内容,来自知识星球“AI产品经理大本营”,识别下图二维码,即可加入。
下面,是hanniman读者们的专属福利时间啦——
----39个近期AI产品经理JD(可内推)----
【投递简历方式】
直接加我微信号(hanniman721)沟通,备注请写:“求职-姓名-职位编号”,例如“求职-张三-G5-001”。
【覆盖城市】
8个:北京、上海、杭州、苏州、深圳、广州、成都、武汉。
【近期重点新增JD in 北京】
1)G23,北京,某创业板上市公司,Iot PaaS产品总监
负责IoT平台及IoT APP产品的迭代工作,需要带团队。
要求:必须有Iot相关经验,5年以上产品经验,英语要熟练。
2)G24,北京,某独角兽公司,云服务产品高级总监
负责公司云平台基础服务建设(大数据服务|OTA服务、知识库服务等)以及相关SAAS云服务(运维服务、运营服务、培训服务、开放平台等)产品的全生命周期;带6-10人。
要求:5-8年以上互联网产品工作经验,3年TOB SAAS产品|IOT服务、TOC用户服务平台、售后运维系统等相关工作经验。
3)G25,北京,某纳斯达克上市公司,云原生产品经理Leader
负责内部云产品方向(包括但不限于容器、DevOps、多租户、CI/CD、运维自动化、监控分析、服务治理、分布式计算、数据库和存储等)产品设计工作,带11~20人。
要求:了解云原生、云计算、大数据相关技术领域,有相关经验者优先;具备一定的英语阅读能力,能够使用英语进行工作交流。
4)G18,北京,某AI上市公司,高级产品经理(元宇宙数字人方向)
职责概述:负责元宇宙数字人的产品战略、方向、规划、需求工作,涉及数字人客服/助理/直播/偶像等,以及相关的平台化工具产品。
要求概述:有数字人行业经验优先。有3D游戏、动画、图像视觉、语音交互/多模态交互经验,对模型效果有较好的审美优先。
所有39个JD详情可见
https://shimo.im/sheets/hUL9JPAKxegIm5lo/MODOC (或点击最后的“阅读原文”)
-END-
-- hanniman往期精选 --
一、AI产品分析
【重点】大B公司自己做AI,都是九死一生——To B AI 平台的1.0 模式,已几乎宣告失败?
【重点】AI产品方法论之“由用户来完成AI产品设计的最后一公里”
【重点】如何从“品类”角度做AI产品(2C)的需求定位
【重点】大B公司自己做AI,都是九死一生——To B AI 平台的1.0 模式,已几乎宣告失败?
【重点】产品视角看智能客服
【重点】一文了解四足机器人
【重点】智能音箱上的语音技能市场,能否对标手机上的应用市场?
【重点】AI产品经理视角下的AI翻译机 in 旅游场景
【重点】进击的人工智能:产品视角解析“对话机器人”
【重点】如何从零开始搭建智能外呼系统
一文了解“教育+AI”方向通识(场景、产品、公司、商业模式、短期风险及机会)
二、AI产品经理
【重点】重磅发布:《AI产品经理的实操手册(2021版)——AI产品经理大本营的4年1000篇干货合辑》(PDF)
【重点】正式介绍“AI产品经理大本营”
【重点】人工智能产品经理的新起点(200页PPT)(注:后台回复“200”,可获取PPT下载链接)
【重点】AI产品经理的定义和分类
【重点】AI产品经理的价值和未来| 学习俞军老师分享有感
【重点】最新AI产品经理求职动态:卡年龄、卡学历,这么卷,怎么办?_2022年3月
AI产品经理能力模型的重点素质:人文素养和灵魂境界
最新“AI产品经理”求职动态及建议
深度报告| AI新职位“人工智能训练师”
三、AI技术
【重点】AI产品经理需要了解的语音交互评价指标
【重点】语音合成TTS| AI产品经理需要了解的AI技术概念
【重点】一文看懂“语音识别ASR” | AI产品经理需要了解的AI技术概念
【重点】值得收藏| 关于机器学习,这可能是目前最全面最无痛的入门路径和资源!
【重点】用最通俗语言来聊聊“什么是机器学习”
【重点】DIY面试题 for AI产品经理 | “智能音箱半夜诡异笑声”的原因分析及建议方案
【重点】“AI芯片”通识_AI产品经理看这一篇就够了
【重点】人脸识别产品设计,AI产品经理需要了解的实战干货都在这里了_团员分享_@阳春柏樰
【重点】一文看懂“声纹识别VPR” | AI产品经理需要了解的AI技术概念_团员分享_@cony
NLP基本功-文本相似度| AI产品经理需要了解的AI技术通识
看AI产品经理如何介绍“计算机视觉”(基于实战经验和案例)
人脸识别| AI产品经理需要了解的CV通识(二)
多目标跟踪| AI产品经理需要了解的CV通识(三)
填槽与多轮对话| AI产品经理需要了解的AI技术概念
AI产品经理需要了解的数据标注工作入门
语音识别类产品的分类及应用场景
四、AI行业及个人成长
【重点】现在的BAT,就是曾经的外企
【重点】【深度】工作5年以上,到底要不要进AI创业公司?
【重点】深度| 人工智能让我们失业?不,这取决于我们自己
【重点】我们还没准备好和AI共生——柯洁和AlphaGo大战之观后感
【重点】AI产品经理视角下的V2X、车联网和自动驾驶
如何成长为高顶级产品经理的3个关键点
新技术带来产业格局周期波动的3个阶段(以智能汽车领域为例分析)
“人工智能与法律”对AI产品经理有何实际借鉴意义
稻盛和夫的这些话,是鸡汤还是干货?
跨过这十个误区,提前2年告别职场小白
【重点】如何分辨明师并遇到他| 周日换频道(7)
---------------------
黄钊hanniman,前腾讯产品经理,前图灵机器人-人才战略官/AI产品经理,10年AI背景,13年互联网经验;垂直于“AI产品经理”的第一社群(知识星球“AI产品经理大本营”,已运营5年)和第一自媒体(微信公众号/知乎ID“hanniman”,已运营8年);作品有《AI产品经理的实操手册》(AI产品经理大本营的4年1000篇干货合辑)、200页PPT《人工智能产品经理的新起点》。
车主因眼睛小被自动驾驶误判?——智能座舱CV体验的经典corner case剖析 by 资深AI产品经理@方舟...相关推荐
- 损失37亿!Intel将彻底退出傲腾存储业务;车主因眼睛小被自动驾驶误判“开车睡觉”;微信安装包11年膨胀575倍 | EA周报...
EA周报 2022年7月29日 每个星期7分钟,元宝带你喝一杯IT人的浓缩咖啡,了解天下事.掌握IT核心技术. 周报看点 1.微软联合 Google 甲骨文挑战亚马逊 AWS 在政府云中的地位 2.损 ...
- 经纬恒润与黑芝麻智能达成战略合作,携手打造全场景智能驾驶、智能座舱解决方案
12月6日,北京经纬恒润科技股份有限公司(简称"经纬恒润")宣布与黑芝麻智能科技有限公司(简称"黑芝麻智能")签署战略合作协议.双方将就自动驾驶(包括域控制器. ...
- 李德毅院士:自动驾驶与智能网联
来源:58车 在电动化.智能化.网联化革命带动下,传统的汽车产业供应链正在重塑,中国电动汽车发展进入结构调整期.以"把握形势 聚焦转型 引领创新"为主题的2020中国电动汽车百人会 ...
- 李德毅院士:未来交通——自动驾驶与智能网联
图片来源:华龙网 转自:主线科技(trunktech) 近日,中国国际智能产业博览会(智博会)在重庆召开.中国人工智能学会理事长李德毅院士在智博会"人工智能产业发展合作论坛"上,发 ...
- 李德毅:未来交通——自动驾驶与智能网联
近日,中国国际智能产业博览会(智博会)在重庆召开.中国人工智能学会理事长李德毅院士在智博会"人工智能产业发展合作论坛"上,发表了主题为<未来交通:自动驾驶与智能网联>的 ...
- 百度Apollo最新进展:高速自动驾驶、智能自主泊车、车路协同……
联合一汽红旗发布L4级自动驾驶乘用车量产计划: 联手沃尔沃启动以量产为目标的L4级自动驾驶乘用车深度定制计划: 自动驾驶出租车和车路协同在长沙全面落地: -- 11月1日举行的2018百度世界大会主论 ...
- 硅谷AI商业化大会专题讨论:自动驾驶与智能交通的未来
Robin.ly 是立足硅谷的视频内容平台,服务全球工程师和研究人员,通过与知名人工智能科学家.创业者.投资人和领导者的深度对话和现场交流活动,传播行业动态和商业技能,打造人才全方位竞争力. 6月1日 ...
- 自制RC自动驾驶+遥控智能小车
相关学习网站 1.模吧 2.RC吧 3.rcfans之家 https://www.bilibili.com/video/av62437007 材料清单 名称 数量 单价 功能 购买链接 无刷电机 $1 ...
- 【Android App】物联网实战项目之自动驾驶的智能小车(附源码和演示 超详细)
需要源码请点赞关注收藏后评论区留言私信~~~~ 当今社会正在步入一个万物互联的时代,它的技术基石主要来自5G.物联网和人工智能. 三者融合产生了许多新产品,其中最璀璨的当数自动驾驶的电动车:它汇聚了最 ...
最新文章
- 最近做了一个小小的系统,收获挺大的....我想总结一下
- 一次zabbix的渗透
- Silverlight如何与JS相互调用
- java nio技术_攻破JAVA NIO技术壁垒
- python云计算面试题_云计算工程师面试问题及答案解析
- 理一理字节对齐的那些事
- 终于找到个好办法备份数据库了
- 日常见到一些命令使用实例~(持续更新!)
- Express の 文件下载
- 测试笔记本续航的软件,日常应用对比测试_Intel笔记本电脑_笔记本评测-中关村在线...
- 电脑蓝屏分析教程,附工具WinDbg(x86 x64)6.12.0002.633下载
- 骨传导耳机低频差理所当然?飞利浦A6606表示不服
- 如何打印int整数的32位二进制数(位运算)
- css语义化命名_为什么我只在生产中使用语义命名
- App自动化测试 —— Appium的使用
- Android Studio配置优化最全详解
- 【阿里云】云服务器ECS怎么一键重装系统
- 串口重定向(STM32 F411RET6开发版)
- 【转载】设备唯一标识方法(Unique Identifier):如何在Windows系统上获取设备的唯一标识
- java 读写 wps xlsx 文件
热门文章
- 三角形外心坐标的计算公式
- 小学四年级计算机制作月历教案,冀教版信息技术四上第1课《制作月历》教案1.doc...
- 昨天,我又“装”上了Windows 1.0
- android 指纹拍照,一加2评测:增加指纹识别/拍照性能出众
- 解读爱奇艺Q2财报:会员数破亿,其他收入打开新增长空间?
- 【NOI2008】 糖果雨
- 织梦CMS鲜花商城类网站模板
- Java名词解释什么是继承_java程序设计名词解释
- 90后凤凰男:寒门难出贵子
- SHUOJ 2333