机器学习实践系列之9

视频结构化 是个沉重的话题，从前背景建模到目标检测，再到目标跟踪，这里面涉及到的东西太多。目前各路安防厂商，视频分析团队都在大打结构化的大旗，公安行业也逐渐开始有了一定的应用，大华”睿智”、海康“猎鹰”、宇视“昆仑”，名字取的一个比一个牛逼……

利益相关，对此，作者不予褒贬、不置可否。

目前并没有一个标准的视频结构化的定义，到底什么是视频结构化，哪些内容需要结构化？没有人能够说得清。

本节只对 视频结构化 进行一个自以为是的定义，后续作者会专门有系统的篇幅来进行介绍。

• 视频结构化的定义

通过视频分析，将视频中的人、车、场景等进行提取，转换为简单、可理解、可描述的语义信息。

该语义信息应该具备以下特点：

1）简单性

简单性在于对于数据量的大幅度压缩，大大减少数据存储空间，只保留其中的 “有用” 信息。

2）准确性

对于目标特征的抽象必须真实反应目标的特点，关键信息描述不能有偏差。

3）完备性

完备性约定场景目标必须被全部提取，不应该有所遗漏。

4）高度还原

通过所提取的语义，应该能够反向重建出场景，实现逆向还原。

还原度是衡量结构化好坏的一个综合指标。

• 视频结构化的难点

目前，视频结构化 的关键难点在于语义定义，对于车辆结构化，其定义相对明确：

车型、车标、颜色

车牌号

年检标

驾驶员特征

……

描述一个静态车是简单的，但是如果在这个基础上再加上行为，车辆停了多久？有无徘徊？难度就会变大。

再进一步，这个目标变成人，ok，这里面的问题就可能是：

这个人是谁？

男的女的，是否老外？

单眼皮双眼皮？

今天有没有洗脸？

整过容没有？

……

晕了，对问题列一个List，10页word 恐怕不够，干脆截个图算了，您老自己看，看来明白了，难度一 就在于 某些对象不容易结构化。

另外，受限于视频分析的准确性问题，检测结果往往有偏差，对应漏检、误检，难度二 就是 视频分析结果不准确。

再者，对于已经检测到的目标，如何抽象描述？选择题 or 填空题，给个int值还是卷积出的向量，难下定论。难度三语义抽象等级。

• 视频结构化的未来

作者给个大胆的预测，视频结构化 需要分阶段，分级去处理。Suppose对于一个给定场景，需要分割出：

1. 背景重建出的场景（图片）

2. 场景的抽象理解

3. 对应的场景目标列表

3.1 人的列表

3.1.1 穿着描述，上衣、裤子、背包、鞋子、手提袋……

3.1.2 人的行为分析，路线、徘徊、异常、人物关系

3.1.3 人脸（图片）

3.2 车辆列表

……

3.3 其他目标列表

……

对于目前阶段，结构化的目标要主要定位在能够解决问题，同时能够降低视频存储的数据量，这才是其价值。

以上内容一家之言，属个人理解，希望大家能够互相切磋、多多交流！

机器学习实践系列之9 - 视频结构化相关推荐

如何用 AI 实现视频结构化管理？
继图片之后,视频结构化成为了深度学习领域又一个热点.相比图片,视频内容无疑具有更大的复杂性.面对不同场景的视频结构化需求,需要采用什么策略才能取得最大化的效果? AI 视频结构化对于互联网.广电等行业 ...
基于DeepStream的视频结构化解决方案
视频结构化的定义利用深度学习技术实时分析视频中有价值的内容,并输出结构化数据.相比数据库中每条结构化数据记录,视频.图片.音频等属于非结构化数据,计算机程序不能直接识别非结构化数据,因此需要先将这些 ...
拓扑排序排课系统_视频结构化人脸布控系统
一.平台背景在国家智慧城市的建设中的公共安全,对维稳防控.全城布控.预测预警.综合管理等提出了更高需求,针对这些需求我们作为识别领域的领先者,结合我们的识别技术,更全面.更智能提出了我们视频结构化黑 ...
VideoPipe可视化视频结构化框架开源了！
完成多路视频并行接入.解码.多级推理.结构化数据分析.上报.编码推流等过程,插件式/pipe式编程风格,功能上类似英伟达的deepstream和华为的mxvision,但底层核心不依赖复杂难懂的gst ...
vp视频结构化框架（2022/9/15更新）
完成多路视频并行接入.解码.多级推理.结构化数据分析.上报.编码推流等过程,插件式/pipe式编程风格,功能上类似英伟达的deepstream和华为的mxvision,但底层核心不依赖复杂难懂的gst ...
RK3588+AI视频结构化算法设计方案
本文详细介绍了基于Rockchip RK3588芯片的AI边缘计算主板外形.尺寸.技术规格,以及详细的硬件接口设计参考说明,使客户可以快速将RK3588边缘计算主板应用于工业互联网.智慧城市.智慧安防 ...
【解决方案】AI视频结构化智能分析平台EasyCVR搭建市教育考试院综合视频安防监控系统
一.背景概述市区教育考试院承担合肥地区高考.研究生考试.非学历考试等考试任务,因此保障教育考试院的安全以及业务的顺利进行是极其重要的,这正是市区教育考试院综合安防视频监控系统设计的核心意义所在.教育 ...
【解决方案】汽车修理厂如何实现远程监控？EasyCVR视频结构化平台助力智能维修安防
一.背景分析随着我们汽车保有量越来越多,汽车保养维修问题越来越多.随着社会经济水平提高,消费者对服务质量要求进一步提高,汽车维修店的安全防范与人员管理就成了一大难题.这样的汽车维修店大多店铺分散,且 ...
海康摄像头通过Ehome协议接入EasyCVR视频结构化可视平台无法播放如何排查？
EasyCVR视频结构化安防视频智能分析平台支持多种协议设备的接入,其中包括Ehome.海康SDK.大华SDK协议等私有协议,现有的平台都已通过测试,并且我们仍在积极扩充其协议的兼容性,未来也将支持更 ...
明景“视频结构化大数据分析”
明景视频结构化大数据平台是面向智慧.平安城市各行业视频图片内容解析的基础平台,支持多种视频图片多源接入.内容解析.人车特征识别.行为及事件分析等视频智能化应用.同时也是一款集鲁棒性.智能性等统一于一体 ...

机器学习实践系列之9 - 视频结构化

机器学习实践系列之9 - 视频结构化相关推荐

最新文章

热门文章