Anomaly Detection 入门概述

- 1. 引言

- 2. with labels

- 2.1 简洁的Baseline

- 2.2 评价指标

- 2.3 问题：异常case太像正常case

- 3. without labels

- 3.1 小白检测

- 3.2 Auto-Encoder

概述

介绍了异常检测的基本任务形式，带标签，不带标签两种情况。

1. 引言

异常检测，想做一件事，机器能否检测出非已知情况？这件事其实并不容易。因为异常样本种类是无限的，这是一个开放数据的问题。而且这个问题，并灭有那么简单，主要任务是在正常的数据上train，然后试图检测出异常数据。

一般有一下两种，带标签的，这种情况下就是Open-set Recognition。无标签的数据，两种情况，一种是就是干净的正常数据，训练然后想让模型得到目标。第二种就是正常中带着一些异常数据。

2. with labels

2.1 简洁的Baseline

你可以使用任何现有分类器，拿去predict异常数据，从它们输出的distribution中计算出模型对当前分类的confidence。这个非常直观，如图，可以计算maximum，也可以直接用Entropy计算。老师指出，这个方法简单但是效果并不差。

2.2 评价指标

不平衡数据，准确率不是一个好的指标。

下面是其中一种评价方法。

确定超参数λ之后，我们可以写出一个表格，类似准确率，召回率，F1.

Cost table中使用的方法是设定分数，分数的取值取决于，正常和异常哪个对你来说更重要。

比如说，假如这是癌症检测，那么我们希望尽可能检测出来，宁错杀不放过，那么我们可以将anomaly but not detected设置为100，将normal but detected设置为1.

有一些指标不用设置λ，例如Area under ROC curve

2.3 问题：异常case太像正常case

如果现在有很多异常数据和label，那么缓解的方法可以是让模型学习输出confidence，给异常资料很低的confidence。

但是异常数据有时候并不好收集，所以还有一些其他方法，使用gan来生成异常。

ref

Kimin Lee, Honglak Lee, Kibok Lee, Jinwoo Shin, Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples, ICLR 2018

Mark Kliger, Shachar Fleishman, Novelty Detection with GAN, arXiv, 2018

3. without labels

3.1 小白检测

任务背景：

twich中一个直播游戏，所有人可以线上操作。但出现的问题是，操作难以进行，于是，人们假设有小白玩家，如下图，它们

不懂怎么玩
恶意乱按

那么，可以将它们检测出来吗？

以两个特征为例。

说废话——和操作无关的话。
喜欢在无政府状态下发言——游戏中有两种模式，规定时间投票决定和随机选取。

于是现在的问题是，尽管我们向量化数据，但是我们只有x并没有标签y，怎么办？

无标签检测

只要换一种角度考虑就可以，很简单，知道x，我们需要找到一个f，使得f(x) = p得到一个概率p，设定阈值lambda判断是否异常。

这是对二维输入的分析，可以看出，高玩喜欢在无政府状态下并且少说废话，其余两种人都是小白。

现在的问题是，我们如何找到这个function。

这是一个无监督问题，下面使用Probabilistic Generative Model对这个问题进行简单的求解。

这个解法并不重要，你可以安装人类对于“小白”的先验知识进行特征设计，训练出更强的模型。

3.2 Auto-Encoder

Anomaly Detection 入门概述相关推荐

入门机器学习(十八)--异常检测(Anomaly Detection)
异常检测(Anomaly Detection) 1. 问题动机(Problem Motivation) 2. 高斯分布(Gaussian Distribution) 3. 算法(Algorithm) ...
异常检测综述（Anomaly Detection: A Survey）
Anomaly Detection: A Survey 异常检测综述: 异常检测是一个重要的问题,已经在不同的研究领域和应用领域进行了研究.许多异常检测技术是专门为某些应用领域开发的,而其他技术则更为 ...
Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection
Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection 摘要尽管大多数现有的异常检测研究只假设有正常的训练 ...
【时序异常检测翻译】1.DeepAnT: A Deep Learning Approach for Unsupervised Anomaly Detection in Time Series
DeepAnT:一种用于时间序列中无监督异常检测的深度学习方法摘要传统的基于距离和密度的异常检测技术无法检测流数据中常见的周期性和季节性点异常,在当前物联网时代,时间序列异常检测存在很大差距.为了 ...
Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings(翻译)
未知学生:学生-教师异常检测与鉴别潜在嵌入原文:https://export.arxiv.org/pdf/1911.02357 Uninformed Students: Student–Teache ...
【视频异常检测-论文阅读】Anomaly Detection in Video via Self-Supervised and Multi-Task Learning
来源: Georgescu, Mariana-Iuliana, et al. "Anomaly Detection in Video via Self-Supervised and Mult ...
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 全文翻译+详细解读
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 全文翻译+详细解读文章速览全文翻译及详细解释 0 ...
【Paper】A Comparative Evaluation of Unsupervised Anomaly Detection Algorithms for Multivariate Data
论文原文:HTML 论文年份:2020 论文被引:396(2020/10/03) 696(2022/03/26) 文章目录 Abstract Introduction Categorization o ...
(ch9) Deep Learning for Anomaly Detection: A Survey
Deep Learning for Anomaly Detection: A Survey https://www.researchgate.net/publication/330357393_Dee ...

Anomaly Detection 入门概述

Anomaly Detection 入门概述相关推荐

最新文章

热门文章