Improved autoencoder for unsupervised anomaly detection

Improved autoencoder for unsupervised

anomaly detection （改进的无监督异常检测自动编码器）

文章来源： https://doi.org/10.1002/int.22582 （2021.7.26 Zhen Cheng）

1.文章亮点：
（1）提出了一种新的基于自动编码器的异常检测方法，该方法可以操纵由异常检测相关损失引导的特征空间，以获得更好的性能。可以在保持局部结构的情况下联合执行异常检测和代表性学习
（2）建议在特征空间中检测异常，并使用到特征空间质心的距离作为新的异常评分策略，而不是使用重建误差进行异常评分，这更适合于异常检测
（3）在五个图像数据集上进行了大量实验，以验证我们的方法与其他最先进的基于自动编码器的方法相比的有效性和稳定性

2.自动编码器缺点：

（1）假设对训练数据的自动编码器学习对异常样本产生比正常样本更高的重建误差，从而可以区分异常和正常数据。然而，这种假设在实践中并不总是成立的，特别是在无监督异常检测中，其中训练数据受到异常污染。
（2）自动编码器对训练数据的泛化效果非常好，可以很好地重建正常数据和异常数据，导致异常检测性能较差。
（3）当使用重建误差作为异常分数时，异常检测性能不稳定，这在无监督场景中是不可接受的。因为没有标签来指导选择合适的模型。
（4）最小化重建误差并不一定意味着最大化异常检测性能。重建误差较小的自动编码器往往导致异常检测性能较差

3.异常检测：

（1）监督异常检测（SAD）涉及使用正常和异常数据样本的标签来训练监督二进制或多类分类器。
（2）半监督异常检测（SSAD）仅使用正常数据检测异常。正常样本的标签比异常更容易获得，因此这类解决方案被更广泛地采用。
（3）无监督异常检测（UAD）基于训练数据的本质来检测异常。它处理未标记数据或异常污染数据，包括正常数据和异常数据。

4.Deep SVDD ：
旨在训练神经网络，同时最小化包含数据网络表示的超球体的体积。在理想情况下，正常示例的映射位于超球体内，而异常示例的映射位于超球体外。 Deep SVDD根据到超球体质心的距离来检测异常
缺点：特征崩溃

5.用于异常检测的自动编码器

（1）自动编码器是一种前馈神经网络，经过训练可将其输入重构为输出，神经网络由两部分组成：编码器fw(x)f_w(x)fw(x)和解码器gu(x)g_u(x)gu(x)
（2）x是输入数据，x^\hat{x}x^是输入数据的重构版本

（3）异常检测–>较大的重建损失；正常数据–>较小的重建损失
（4）输入数据xix_ixi，异常分数（重建损失）S(xi)S(x_i)S(xi)

6.用于异常检测的深度SVDD

（1）最小化超球体的体积：

（2）超参数：v∈(0,1)\in(0,1)∈(0,1)
（3）表示训练集中样本的总数：n
（3）训练集中的一个样本：xix_ixi
（4）W={W1,W2....Wl{W^1,W^2....W^l}W1,W2....Wl}
（5）特征空间中所有训练数据的期望质心：C
（6）到质心的距离，若大于R，则超参数v平衡超球体的体积和违反边界

（6）超球面的半径：R>0
（7）l∈l\inl∈{1,2....l{1,2....l}1,2....l}的权值：

（8）目的：找到一个最小尺寸的数据包围超球体
（9）正常数据–>超球体中；异常数据–>超球体外
（10）异常分数：

7.改进的UAD编码器

（1）C：通道尺寸；H：高度；W：宽度
（2）X：正常数据集（XnoX_{no}Xno）; 异常数据集（XanX_{an}Xan）

（3）UAD目标：构建一个模型M(.)，用于确定给定样本是来自X_no\_no_no还是X_an\_an_an，而不带任何标签
（4）改进的UAD编码器：
（4.1）重建损失：LrecL_{rec}Lrec
（4.2）深度SVDD损失：LregL_{reg}Lreg
（4.3）空时扭曲特征空间程度的折衷系数：λ

（5）深度SVDD损失：LregL_{reg}Lreg

（6）总公式：

（7）异常分数：

8. 改进的异常检测自动编码器（IAEAD）：

（1）将SVDD损失纳入自动编码器框架，以检测与深度SVDD相似的特征空间中的异常，而不是重建损失。通过这种方式，该框架可以联合执行异常检测优化，并在保持局部结构的情况下学习具有代表性的特征。IAEAD的优化可以直接执行小批量随机梯度下降和反向传播
（2）该方法的优越性归结为两个方面：（i）建议在特征空间中检测异常，使用嵌入点到所有嵌入点平均中心的距离，而不是重建损失，作为我们的异常分数。实验结果验证了我们提出的评分策略的有效性和稳定性。（ii）我们将深度SVDD损失纳入vanilla自动编码器，用于异常检测。通过最小化深度SVDD损失，对特征空间进行操作，使其更适合于异常检测，从而进一步提高了异常检测的性能

9.实验部分
（9.1）为了更清楚地显示不同方法之间的比较，并比较UAD在不同异常率下的性能，我们报告了AUROC在ρ从5%到25%的所有五个数据集上的UAD性能，从图中我们可以看到当异常率变高时，所有方法的性能都会变差，这是非常直观的，因为异常率越高，意味着训练中的噪音越大，对应于UAD任务越艰巨。我们还注意到，当性能较低时，某些方法的这种趋势并不稳定，例如CIFAR10上的RDAE行。从图中我们得出结论，当该方法仅略优于随机猜测（对应于50% AUROC）时，趋势并不成立我们还可以看到，我们的方法始终高于其他方法，但SVHN除外，在SVHN上，我们的方法的性能略差于MemAE，但仍优于CAE和Deep SVDD。

（9.2）显示了不同训练时期的AUROC。总的来说，我们方法的UAD性能在训练的初始阶段得到改善，然后随着训练时间的持续增加而趋于稳定。相比之下，CAE的AUROC-epoch曲线在训练期间波动更大，有时甚至无法达到收敛，例如在MNIST的0号上进行的实验，其中AUROC在训练期间不断降低。这验证了最小化重建误差并不一定意味着最大化异常检测的性能。事实上，图A中较低的重建误差导致较低的AUROC。