浅析TSINGSEE智能视频分析网关的AI识别技术及应用场景

一、行业背景

1）AI技术在安防领域大量落地应用

随着近几年人工智能的快速发展，深度学习方法及性能日益提升，计算机视觉、图像处理、视频结构化和大数据分析等技术也不断完善，使得安防产品逐步走向智能化。在技术成熟度上，处理安防影像的技术已经研发得较为完备，同时行业指导性政策也进一步加快了人工智能技术的落地应用。

2）AI视频智能分析技术的优势

基于AI的视频分析是视频监控行业讨论较多的话题之一，相关的预期也较高。因为实时监控和查看视频监控内容十分具有挑战性，尤其是在处理大量摄像机接入时。传统的人工处理方式不仅效率低下，还容易遗漏信息，而且需要大量的人力成本。基于AI的视频分析技术通过使用全面而复杂的算法来分析视频流。AI可以逐像素查看摄像机的图像，几乎不会遗漏任何信息。

在深度算法基础上，智能视频分析技术能够代替人眼对目标进行智能跟踪与识别，并通过人工神经网络、关键特征匹配等算法和智能统计模型，可以对监控区域进行目标识别、目标跟踪、运动轨迹分析和特征分类等等。

3）AI驱动视频监控应用领域的拓展

目前在视频监控领域应用较为广泛的AI技术例如：智能检测与分析技术（如人脸检测与识别、物体识别、行为识别、目标追踪等）、图像及视频处理技术（视频图像处理、视频结构化等）。在场景上，视频监控的应用范围也逐步扩展，从之前的安防逐渐拓展到交通、旅游、金融、司法、教育、生产制造、城市管理、环保等等更多领域，例如生产车间的质检智能检测、旅游景区客流分析、城市管理中的AI人脸检测、公安部人脸识别系统等等，无一不和AI相关。

二、视频智能分析涉及的技术

1）物体检测（Object Detection）

可以识别图像或视频中的对象并找到它们。物体识别可以使用这种识别和定位的方法计算场景中的物品，并确定和标注它们的确切位置。

2）物体识别（Object Recognition）

用于识别图片或视频中的物体。深度学习和机器学习算法的主要结果是目标识别，快速发现和甄别人物、事物、场景等信息。

3）目标跟踪（Object Tracking）

目标跟踪是机器视觉领域的重要课题，被广泛应用于智能监控、动作与行为分析、自动驾驶等应用领域。

4）实时视频分析（Real-Time Video Analytics）

摄像机会产生大量视频数据，人工有时无法手动查看存储的图像以进行相关事件的处理。因此需要借助AI智能识别分析，以此来发现监控图像中的重要信息，如周界入侵、危险行为、烟火、可疑人脸等等。

5）触发实时告警

AI在视频图像中检测到异常行为时，便做出响应，如：向管理员发出告警信息。视频识别技术提高了态势感知的能力，包括：

基于相似外观的告警：视频监控可根据实体外观相似的需求定制告警，如危险物检测、烟火检测等。
基于计数的告警：当在给定时间段内在预定位置检测到一定数量的物体（车辆或人）时，可以触发警报。
人脸识别告警：相关部门可以根据从视频图像中提取的信息，以此快速识别罪犯并实时发出告警。

三、AI在视频监控分析中的技术应用

EasyNVR智能视频分析网关，支持对多路网络IPC及NVR采集的高清视频流进行实时智能分析。通过将网络摄像机、NVR、编码器等视频源设备统一集中接入和汇聚管理，对接入的多路高清视频流进行人、车、物、行为等实时检测与分析，结合硬件中内置的多种AI算法，实现人脸识别/检测、车辆识别/检测、目标检测、行为识别等目的，可对异常行为事件进行告警与提醒，支持对接视频结构化数据平台、大数据综合分析平台等。

EasyNVR智能视频分析网关，内嵌神经网络加速引擎，支持4G，WIFI无线传输，可广泛应用于安防监控、智能分析、通行核验等场景。

1、技术特点

1）AI深度学习算法：基于AI深度学习的视频结构化分析，可对实时视频中人、车、物进行检测、跟踪、抓拍，并识别其特征属性。

2）低延时，准确率高：目标检出率白天>95%，夜间>93%；目标误检率白天<3%，夜间<5%，延时低，准确率达到市面上高等水平。

3）大数据分析灵活拓展：支持功能灵活拓展，接入大数据管理平台，可实现大数据智能分析应用，满足用户更高级的业务需求。

2、场景示例

示例1：在明厨亮灶场景中的AI识别技术应用

1）人脸检测/识别

可实现多人脸检测与抓拍、人脸比对检索、人脸库管理等。对后厨人员进行实时检测与比对识别，检测到陌生可疑人员可立即触发告警，同时可搭配声光告警装置进行报警提示。

2）口罩识别

利用口罩特征分析算法，对后厨人员是否佩戴口罩进行实时检测，根据业务需求对未正常佩戴的情况自动告警提示并截取图片进行保存。

3）厨师帽识别

针对进入后厨的工作人员进行厨师帽佩戴检测，识别率可达95%，检测到未佩戴厨师帽的人员，可立即抓拍并上传至平台。

4）抽烟识别

针对后厨人员实时检测抽烟行为，一旦发现，则立即抓拍、匹配员工人脸库进行识别，并触发告警，从食物源头上保障食品安全、火灾安全，识别率达95%，可基于声光告警装置发出报警提示。

5）玩手机识别

针对后厨人员进行玩手机、接打电话行为的检测识别，准确率可达95%。

6）老鼠识别

针对后厨、仓库等区域进行鼠患识别，一旦检测到老鼠，将立即触发告警信息，准确率达85%。

示例2：在安防视频监控场景中的应用

1）智慧社区安防监控

通过视频监管平台，可实现对小区的智慧监管，如人脸门禁、车辆出入、电梯监控、电动车进电梯检测、高空抛物检测、消防预警等。

车辆出入管理：对小区内道闸、车道、停车场的进出车辆进行监控与检测；
车辆违停监测：实时监测小区应急通道违停情况，平台会告警以便于及时处理并消除安全隐患；
人脸识别门禁：人脸识别开门，支持上报实名信息至公安平台；
高空抛物：对监控摄像头拍摄的视频及图像进行智能分析，自动识别高空抛物行为，并清晰记录物体坠落轨迹，同时发出告警；
消防检测与识别：对小区监控范围内出现的烟火，分析火光及燃烧烟雾，自动辨别监控设备中的火警信息，数据可上报消防平台。

2）智慧楼宇安防监控

针对楼宇场景，可对出入人员及停车场车辆进行检测识别，实现楼宇的人、物、办公、安防、监控等数据互联互通，打造楼宇的智能、高效、精细管理，更好地服务用户。

人脸通行门禁：人脸识别开门，刷脸进出
人脸抓拍：对访客人脸进行抓拍，建立人脸档案
人脸考勤：打通楼宇租客考勤系统，刷脸考勤+门禁，方便快捷
安防布控：结合楼宇安保规范，提供区域内虚拟防线，闯入告警
安保检索：联动大厦监控系统，提供可疑人员轨迹检索

3）工地/厂区安全生产

工地/厂区的人员与车辆出入管理，如人脸门禁、人脸考勤等，检测工人是否佩戴安全帽、是否越线、攀高等行为，还可以实现各级联网，有效对工地、厂区等进行实时、高效的监管。

安全帽检测：实时检测是否佩戴安全帽，保证施工安全
安全着装监控：实时识别是否穿戴工作服，并告警违规着装
物料区监控：实时监控物料堆放区，对进入区域的人脸进行检测与抓拍
车辆出入管理：对车辆进行车牌识别、车流统计等
工地虚拟防线：实时监测禁区闯入情况，帮助布局工地安防

4）智慧校园安防监控

针对在校学生、校职工等进行人脸识别，排除危险分子进入学校；还可以对学校内的车辆、物品、设施等进行智能告警设置，及时发现火灾隐患、打架斗殴等事件。

智能人脸门禁：在校门口对学生进行出入考勤
人脸检测/识别：人脸检测/识别技术，支持与公安数据对接，对可疑人员布控预警
车辆出入管理：优化访客与车辆出入流程
轨迹跟踪：学生活动轨迹跟踪
智能预警：检测陌生人、周界入侵/危险情况预警等

5）智慧园区安防监控

针对工业园区等场所，可对出入人员及车辆进行检测识别，对检测异常情况进行预警，避免陌生人员闯入、火灾隐患，提高园区的安全性，降低人工巡查成本、提高园区安防管理水平。

人脸通行门禁：人脸识别开门，刷脸进出
物品区监控：实时监控园区物品、设备的状态，可进行设备的检测与抓拍
车辆出入管理：对车辆进行车牌识别、车流统计等

6）交通卡口监控

在主要交通要道、出入口、高速公路、收费站等重点地段实时监控道路、卡口的车流量，自动统计不同时段车辆的进出数量、车牌识别、车辆类型识别等。

通过AI视频检测方式精确跟踪车辆运动轨迹，判断车辆直行、逆行、左右转方向，记录车辆在停车线前、压线、越线情况，以及车辆压车道分隔线行驶情况。