CVPR 2021 | 又好又快的视频异常检测，引入元学习的动态原型学习组件

Learning Normal Dynamics in Videos with Meta Prototype Network

作者：Hui lv, Chen Chen, Zhen Cui, Chunyan Xu, Yong Li, Jian Yang

单位：南京理工大学；北卡夏洛特分校

论文：https://arxiv.org/abs/2104.06689

代码：https://github.com/ktr-hubrt/MPN

摘要:

该工作提出了一个场景模式自适应的动态原型（prototype）学习框架，实时的学习视频中的正常模式，来辅助视频帧的预测，然后通过视频帧的预测误差和原型与输入特征的距离来检测异常。算法在多个无监督异常检测的数据集上均达到了SOTA performance。

1. 简介

近来，基于自编码器的视频帧重建（或未来帧预测）方法成为视频异常检测的一个潮流算法。这些仅仅使用包含正常模式的数据训练的模型，在遇到没有见过的异常模式的数据时，往往会产生比较大的重构误差。

但是由于深度神经网络极强的泛化能力，深度模型对一些异常的视频帧也会重建（或预测）的较好，这就导致“过度泛化”问题。

在这份工作中，我们设计了一个动态原型学习的组件，来动态实时地建模和压缩视频中的正常模式为原型（prototype），以促进模型对正常视频帧的重建（或预测）和抑制对异常视频帧的重建（或预测）。

并且，我们引入元学习理论，赋予动态原型学习组件场景模式自适应的能力，不需要设计对应规则和阈值来更新原型，具有快速高效的自适应能力。

2. 方法

Dynamic Prototype Unit（DPU）:

我们设计的DPU输入编码器（E）得到的编码特征，输出动态原型加强后的特征。通过结合自监督注意力机制，DPU首先得到多个对应输入编码特征每个元素位置的注意力图，然后分别得到对应的多个原型特征向量。通过对原型向量的查询和提取，就可以得到加强后的特征图。

Meta Prototype Unit（MPU）:

结合元学习理论，我们把DPU组件进化为元学习原型组件。利用训练集的不同场景，我们学习一组最优的初始化参数集合和对应的更新步长，在测试时，更新对应的参数，我们就可以得到场景模式自适应的异常检测器。

3. 试验结果

DPU在无监督的异常检测数据集上进行了试验，均得到最优或次优的结果。

MPU在元学习few-shot场景下，也取得了不错的结果。

我们展示了原型学习过程中产生的自注意力图（第一列是未来帧，第二列是检测得到的异常图，第三列是多组自注意力图之和，后面三列均是单个注意力图）：

我们还展示了算法模型在一些测试视频上的预测结果：

我们还分析了多个SOTA模型的运行效率：

数据均在4核CPU（E5-2650），单块GPURTX-2080Ti机器上实验得出。

更多的细节分析请见原文，代码已经开源，敬请关注加星，谢谢大家。

文章链接：https://arxiv.org/abs/2104.06689

代码链接：https://github.com/ktr-hubrt/MPN

备注：视频监控

视频监控交流群

视频监控等技术，

若已为CV君其他账号好友请直接私信。

CVPR 2021 | 又好又快的视频异常检测，引入元学习的动态原型学习组件相关推荐

ICCV 2021 oral 重构+预测，双管齐下提升视频异常检测性能
关注公众号,发现CV技术之美本文分享 ICCV 2021 oral 论文『A Hybrid Video Anomaly Detection Framework via Memory-Augmente ...
【视频异常检测-论文阅读】Anomaly Detection in Video via Self-Supervised and Multi-Task Learning
来源: Georgescu, Mariana-Iuliana, et al. "Anomaly Detection in Video via Self-Supervised and Mult ...
Weakly Superised video anomaly detection弱监督视频异常检测
关于弱监督的一些论文记录.(以便自己学习总结) 目录 Consistency-based Self-supervised Learning for Temporal Anomaly Localizat ...
《监控视频异常检测: 综述》王志国, 章毓晋笔记
害,最近做了挺多机器学习的东西,但是那些不是弯路,我估计之后还是要学习机器学习的相关内容. 今天是周四(2020年11月12日),但是由于网络老师有事,所以没有上网络课,于是就用这个空闲的时间看了一篇 ...
【弱监督视频异常检测】2019-BMVC-用于改进视频异常检测的运动感知功能
2019-BMVC-Motion-Aware Feature for Improved Video Anomaly Detection 用于改进视频异常检测的运动感知功能摘要 1. 引言 2. 相关 ...
监控视频异常检测数据集整理
目前监控视频异常检测领域中主要的数据集有:UMN数据集,UCSD数据集,CUHK Avenue数据集,ShanghaiTech数据集,Subway 数据集,UFC Crime数据集,Street Sc ...
视频异常检测综述（一）
视频异常检测综述(一) 文章目录视频异常检测综述(一) 一.视频异常检测(Video anomaly detection)的定义二.单场景&多场景三.视频异常类型 1.Appeara ...
视频异常检测技术研究进展
摘要视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑 ...
无监督域适应、人体解析、视频异常检测和水果成熟度分类，推荐本周那些有意思的CV综述...
关注公众号,发现CV技术之美今天向大家推荐四篇近期发布的文献综述,包含无监督域适应.人体解析.视频异常检测和水果成熟度分类. ▌Source-Free Unsupervised Domain Ada ...

CVPR 2021 | 又好又快的视频异常检测，引入元学习的动态原型学习组件

摘要:

CVPR 2021 | 又好又快的视频异常检测，引入元学习的动态原型学习组件相关推荐

最新文章

热门文章