自动驾驶系列（七）——聊聊人机交互中的DMS驾驶员监控系统

DMS驾驶员监控系统，是自动驾驶人机交互的一部分，即通过在汽车上安装光学摄像头和红外摄像头对驾驶员的眼部状态（眼球追踪、实现追踪等）进行实时获取，通过深度学习算法对获取的信息进行分析，判断出驾驶员的状态，实现对驾驶员的身份识别、驾驶员疲劳监测、驾驶员注意力监测以及危险驾驶行为的监测，并进行不同级别的预警。

DMS驾驶员监控系统工作原理

人在疲劳的时候会出现比较典型的面部表情或动作特征，比如增加了眨眼持续时间、减缓了眼睑运动、点头、打哈欠等。基于摄像头的驾驶员监控方案正是利用这一点，即先采集到驾驶员在不同疲劳状态下所展现的表情特征，然后将这些定性的表情特征进行量化，提取出面部特征点以及特征指标作为判定依据，再结合多次实验数据总结出基于这些参数的识别方法，最后再输入取得的状态数据进行识别和判断。

识别准确率是驾驶员监测系统最核心的指标之一。DMS驾驶员监控系统采用传统算法和深度学习，通过人脸检测与追踪、3D脸部建模等核心技术，针对打哈欠、视线偏移、闭眼、眨眼等多种状态进行识别，同时通过指令集优化、多线程优化、实时算法调度等高效的工程实现，大幅优化和提升系统响应速度。

此外，DMS驾驶员监控系统还采用近红外主动成像技术，能够适应各种光源环境，即便在夜间、逆光等情况下，也能提供高品质的图像。由于红外光特性可以穿透镜片，被遮挡的眼部信息也能够正常成像，很好地解决了驾驶员眼镜反光问题。

DMS驾驶员监控系统的难点

DMS驾驶员监控系统以车载摄像头拍摄的视频流作为输入，成像质量也会受外界光线干扰，例如三维映射到二维的信息丢失、部分遮挡，光线变化等。
DMS驾驶员监控系统算法面临驾驶员状态多变的考验。汽车驾驶员存在不同性别、年龄、种族，可能会穿戴帽子、口罩、眼镜等，驾驶过程中头部会出现各种姿态，这些复杂状况也会对算法构成很大考验。
DMS驾驶员监控系统对人类驾驶员精神状态的检测精准度难以把控。由于对于驾驶员以及成员的生理、心理状态判断行业内没有形成可控函数，因而系统无法作出准确判断。
数据采集标注面临极大考验。计算机视觉算法对图像质量有较高要求，车载摄像头成像质量与公开数据集图像质量差异较大，为保证算法效果，需要用车载摄像头采集真实行车场景下的数据，并对此进行精准标注，这会极大增加数据采集标注难度与成本。

景联文科技提供DMS系统数据解决方案

景联文科技作为一家专业的数据采集标注公司，提出了DMS系统数据解决方案，依托于自身丰富的数据采集标注经验，通过全场景数据库，定制化数据采集标注，一站式解决DMS相关算法的训练数据需求，可以帮助车企缩短数据采集和标注周期，有效降低算法模型训练成本，节省大量研发时间和成本。

景联文科技拥有丰富的DMS场景搭建采集经验，可以快速采集标注车辆中全场景条件下的数据，配合广大车企进行DMS相关算法的开发。提供的驾驶员行为数据集有：

《300000张DMS驾驶员行为训练集》

采集设备：可见光和红外双目摄像头
数据规模：300000张图像，300000个json文件，600000段视频，每段视频30秒左右
采集环境：车内
数据格式：图像数据格式为jpg，标注文件格式为json，视频格式为MP4
采集多样性：多年龄段、多时间段、多种行为（疲劳驾驶、着装规范、副驾驶及后排座椅、未系安全带、抽烟、吃喝、后挡风玻璃置物台、主驾驶防护栏、中控台、故意遮挡镜头、手持手机打电、未超载、中央扶手处、聊微信看视频）
采集时间：白天、傍晚和夜晚
标注说明：对检测对象进行框选标注，所有图片中框选的类型都需要被划分到正确的类型中，不能出现漏标注或类型标注错误的情况
准确率：采集数据数量达到合同要求，采集种类和场景不少于双方协议的98%；不遗漏框，不误标框，不多标框，准确率达98%以上；标注分类标签准确度达100%

除此之外，景联文科技有全职采集标注人员和专业的技术团队对采集标注项目进行把控，合作专业租车平台，对采集车辆全部上保险，被采集者本人均签署授权协议书，保证数据采集流程安全合规。

景联文科技｜AI基础数据服务｜数据采集｜数据标注｜假指纹制作｜指纹防伪算法

助力人工智能技术加速数字经济相关产业质量变革，赋能传统产业智能化转型升级

文章著作权归景联文科技所有，商业转载请联系景联文科技获得授权，非商业转载请注明出处；图片源自网络，如有侵权请联系我们进行删除。

自动驾驶系列（七）——聊聊人机交互中的DMS驾驶员监控系统相关推荐

人工智能之自动驾驶系列（一）：概要
人工智能之自动驾驶系列(一):概要蓬生麻中 http://blog.csdn.net/wangdaiyin/article/details/77403592 版权声明:本文系个人经多处资料学习.吸收 ...
ndtmapping建图_自动驾驶系列：激光雷达建图和定位(NDT)
该系列主要为对前期工作进行梳理,以后所进行的工作也会部分在此记录. 使用NDT(正态分布变换)进行点云建图和定位前言定位模块是自动驾驶最核心的模块之一,定位又包括全局定位和局部定位,对于自动驾驶, ...
一文详解自动驾驶的运行设计域（ODD）| 自动驾驶系列 1
一文详解自动驾驶的运行设计域(ODD)| \n 自动驾驶系列 2021年4月30日,SAE发布了第四版J3016<驾驶自动化分级>,这是即2014年1月16日.2016年9月30日.201 ...
ONNX系列七 --- 在Python中使用可移植的ONNX AI模型
目录安装和导入ONNX运行时载入ONNX模型使用ONNX运行时进行预测摘要和后续步骤参考文献下载源547.1 KB 系列文章列表如下: ONNX系列一 --- 带有ONNX的便携式神经网络 ...
自动驾驶（七十九）---------Apollo之定位模块
在现阶段的自动驾驶中,定位一直是很重要的话题:最近特斯拉的开放道路自动驾驶一定程度上降低了定位的重要性,采用实时图像分析生成概率地图,这项技术还有待市场去打磨的更加成熟.在我看来作为一个自动驾驶工程师 ...
深度学习传感器融合技术在自动驾驶汽车感知与定位中的应用研究进展
论文研读--Deep Learning Sensor Fusion for Autonomous Vehicle Perception and Localization: A Review 深度学习传 ...
Windows上最全wsl2使用配置，包含基础配置、高级配置、开发工具、机器学习环境配置、机器人与自动驾驶环境配置（如Ros及百度的无人驾驶系统apollo）、服务器及Web开发环境配置等等
Windows上最全wsl2使用配置,包含基础配置.高级配置.开发工具.机器学习环境配置.机器人与自动驾驶环境配置(如Ros及百度的无人驾驶系统apollo).服务器及Web开发环境配置等等. 文章比 ...
航芯案例分享 | 驾驶员监控系统全解析为驾驶安全护航
考虑到道路上的汽车数量不断增加,对 ADAS(高级驾驶辅助系统)需求的不断增长可能不足为奇! 大多数驾驶员因在驾驶时分心而遭遇事故,尤其是在夜间,所以许多汽车制造商都在提供驾驶员监控系统,增进道路安全 ...

自动驾驶系列（七）——聊聊人机交互中的DMS驾驶员监控系统

自动驾驶系列（七）——聊聊人机交互中的DMS驾驶员监控系统相关推荐

最新文章

热门文章