异常检测论文阅读笔记《MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection》
MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection
论文来源：CVPR 2021
原论文地址链接
相关代码链接
本论文关键词：Weakly supervised（弱监督），Multiple Instance Learning（多实例学习），Self-training（自训练）， Pseudo Label（伪标签），Self-Guided Attention（自引导注意）
大致介绍：
弱监督视频异常检测是一种基于可分特征将异常从正常事件中检测出来的任务。然而，大多数现有工作受限于不充分的特征表示。
本工作中，作者提出了多示例自训练的框架（MIST），该框架仅使用视频级别标签，能够高效地优化任务相关的特征表示。
其中，MIST包括了（1）一个多示例学习的伪类标生成器，它采用了稀疏连续采样策略来产生更加可信的伪类标（reliable clip-level pseudo labels）；（2）一个自引导注意力模块增强的特征提取器，用以在特征提取过程中使提取器更关注异常区域。 另外，在实验时作者采用了自训练的方法来优化这两个部件，并最终得到一个任务特定的特征提取器。
作者在两个公开数据集上做了大量实验，这些实验结果证明了他们所提出的方法的有效性，而且该方法的性能与现有的有监督和弱监督方法相当甚至更好，特别是在ShanghaiTech数据集上，该方法获得了94.83%的帧级别AUC分数。
其中，**伪标签的生成（Pseudo Label Generation）**与 **特征编码器中的自引导注意（Self-Guided Attention in Feature Encoder）**这两块是重要的结构组成部分，如下图所示：
相关概念的引入
1.Weakly supervised video anomaly detection
无监督学习方法（Unsupervised learning methods）只用正常的训练样本编码通常的模式，然后检测到独特的编码模式为异常。
带有视频级标签的弱监督学习方法（Weakly supervised learning methods）更适用于区分异常事件和正常事件。
弱监督能够大致的分为两类：encoder-agnostic methods and encoder-based methods.（与编码器无关的方法和基于编码器的方法。）
- Encoder-agnostic methods train only the classifier.
- Encoder-based methods train both a feature encoder and a classifier.
在这里，作者所提出的工作也是一种基于编码器的方法，并以在线细粒度的方式工作，使用学习到的伪标签来优化我们的特征编码器ESGA，而不是直接使用视频级标签作为伪标签。
2.Multiple Instance Learning.
多实例是一种流行的弱监督学习方法，在与视频相关的任务中，多实例学习将视频作为包，并将视频中的帧作为实例，通过特定的特征/分数聚合功能，视频级标签可以用于间接监督实例级的学习。聚合函数各不相同，例如最大池和注意力池。
3.Self-training.
自我训练在半监督学习中得到了广泛的研究，自我训练方法通过对未标记数据的伪标签生成来增加标记数据，以利用标记和未标记数据上的信息。
Recent deep self-training involves representation learning of the feature encoder and classifier refinement, mostly adopted in semi-supervised learning [12] and domain adaptation [40, 39].
4.Pseudo Label Generation via Multiple Instance Learning
就是之前的研究工作是这么处理伪标签的，它只需为每个剪辑分配视频级别的标签，然后在一开始就训练普通的功能编码器。
我们引入了一个基于MLP的结构作为在MIL范式下训练的伪标签生成器来生成伪标签。
5.Self-Guided Attention in Feature Encoder
我们提出了一种改编自E的自我引导注意增强特征编码器ESGA，它通过伪标签监督优化注意地图的生成，以增强任务特定表征的学习。
论文结论：
在这项工作中，作者提出了一个多实例自我训练框架(MIST)来有效地微调一个特定于任务的特征编码器。 作者在多实例伪标签生成器中采用稀疏连续采样策略，以产生更可靠的伪标签。通过估计的伪标签，我们所提出的特征编码器学习关注由所提出的自引导注意模块促进的帧中最可能的异常区域。
畅想，作者提出的具有鉴别表示的任务特征编码器，应该也可以提高其他现有的方法。
异常检测论文阅读笔记《MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection》相关推荐
- 论文阅读 (86)：Normality Guided Multiple Instance Learning for Weakly Supervised Video Anomaly Detection
文章目录 1 引入 1.1 题目 1.2 摘要 1.3 引用 2 方法 2.1 背景和动机 2.2 正态导向微调模块 2.2.1 正态更新 2.2.2 异常预测微调 2.3 学习目标 2.3.1 正态 ...
- 2019 sample-free（样本不平衡）目标检测论文阅读笔记
点击我爱计算机视觉标星,更快获取CVML新技术 本文转载自知乎,已获作者同意转载,请勿二次转载 (原文地址:https://zhuanlan.zhihu.com/p/100052168) 背景 < ...
- 【视频异常检测-论文阅读】Anomaly Detection in Video via Self-Supervised and Multi-Task Learning
来源: Georgescu, Mariana-Iuliana, et al. "Anomaly Detection in Video via Self-Supervised and Mult ...
- 【异常检测-论文阅读】（CVPR 2022）Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection
来源: Ristea N C, Madan N, Ionescu R T, et al. Self-supervised predictive convolutional attentive bloc ...
- 毫米波目标检测论文 阅读笔记 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar
毫米波目标检测论文 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar Jie Ba ...
- 异常检测论文阅读《PANDA: Adapting Pretrained Features for Anomaly Detection and Segmentation》
<PANDA: Adapting Pretrained Features for Anomaly Detection and Segmentation> CVPR2021 论文背景: 近年 ...
- 近年多示例论文阅读(2)： Multiple instance learning: A survey of problem characteristics and applications
目录 基本信息 核心思想 基本信息 题目:Multiple instance learning: A survey of problem characteristics and application ...
- 【视频目标检测论文阅读笔记】Optimizing Video Object Detection via a Scale-Time Lattice
1.1 论文信息 标题 Optimizing Video Object Detection via a Scale-Time Lattice 会议 CVPR 2018 原文链接 Optimizing ...
- 【论文阅读】An Iterative Instance Selection Based Framework for Multiple-Instance Learning
题目 An Iterative Instance Selection Based Framework for Multiple-Instance Learning 一种基于迭代实例选择的多示例学习框架 ...
最新文章
- struts2_对Map进行双层迭代
- Emlog使用qq头像作为评论头像
- 十大常用算法（C++版）
- windows 2008 64位oracle11g部署问题（1）之警告-启动database control时出错
- webpack， react项目中利用外部JS库提升效率
- android studio技巧之设置monitor窗口模式查看logcat
- 51单片机全自动锂电池容量电量检测放电电流电压ACS712 ADC0832
- java仓库管理设计报告_基于javaweb的仓库管理系统的设计和实现 毕业论文
- 为什么在项目中要慎用RxBus
- mysql:Prepared statement needs to be re-prepared解决办法
- java实现评论功能_Java实现评论回复功能的完整步骤
- 齐齐哈尔大学计算机调剂,齐齐哈尔大学2020年硕士研究生调剂信息
- Java并发教程（Oracle官方资料） 分享
- 【自适应盲均衡11】基于Volterra级数的双线性CMA盲均衡算法与MATLAB仿真(采用16QAM信号模型)
- 人、机客户服务质量 - 实时透视分析
- 【最新面试技巧分享】面试官想看到的以及面试者需要准备的！
- 探索个人碳账户应用，实践绿色金融创新
- petalinux使用-终极教程
- 一个专科计算机专业就业前景如何,读专科有前途吗？附大专最吃香的五大专业...
- 计算机boot camp翻译,boot camp