Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals-TKDE-A类-

a25-2021-TKDE(A类)-无监督-Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals-精度-基于预测和基于重构

代码链接：https://github.com/7fantasysz/MSCRED
引用库链接：https://pyod.readthedocs.io/en/stable/
挑战：

由于时间序列数据中的时间成分，时空域异常检测变得更加复杂。传统的异常检测技术无法处理多变量时间序列信号，因为它们不能同时捕获空间和时间依赖性。
基于重构的模型通常用于异常检测。假设异常样本的压缩与正常样本的压缩不同，并且异常样本的重构误差会更高。在现实生活中，受模型的高复杂性和数据的噪声的影响，异常输入的重构误差也可以用训练模型很好地拟合。
为了降低多传感器数据的维数并检测异常，广泛采用两步法。两个模型分开训练，容易陷入局部最优。

解决办法：
提出了一种新的基于深度学习的异常检测算法，称为深度卷积自编码记忆网络(CAE-M)。
CAE+MMD+Attention机制+BiLSTM+AR

首先构建一个深度卷积自编码器，利用最大平均偏差(MMD)来表征多传感器数据的空间依赖性，以更好地区分噪声、正常和异常数据。然后，我们构建了一个由线性(自回归模型)和非线性预测(带注意的双向LSTM)组成的记忆网络，从时间序列数据中获取时间依赖性。最后，CAE-M联合优化这两个子网络。

子网络=表征网络+记忆网络
Deep Convolutional Autoencoder + Attention-based Bidirectional LSTM+Maximum Mean Discreancy(MMD) + AR
复合模型：通过同时进行进行重构和预测分析来表征复杂的时空模式。

自动编码器经常用于异常检测通过学习重建给定的输入。该模型只根据正常数据进行训练。一旦无法重建与正常数据同等质量的输入，则将输入序列视为异常数据。

从这段文字中可以看出来，本论文也是运用的用历史指标预测新的指标，并没有引用label，故还是无监督（或是称为自监督）。
数据：

label:

具体地说，我们将多传感器时间序列信号中的空间信息通过深度卷积自动编码器(CAE)编码到低维表示中。为了减少噪声数据的影响，已有的一些研究尝试增加内存模块或高斯混合模型(GMM)。在我们提出的方法中，我们将这些模块简化为惩罚项，称为最大平均差异(Maximum Mean difference, MMD)惩罚。增加一个MMD项可以使训练数据的分布近似于高斯分布，从而减少训练数据中由于噪声和异常引起的过拟合风险。然后将这些表示和重构误差输入到基于注意机制的双向LSTM (Bi-LSTM)的后续预测网络中，通过对时间信息的建模，实现对未来特征值的预测。通过复合模型，可以获取多传感器时间序列信号的时空依赖性。最后，我们提出了一个带有权重系数的复合目标函数来指导端到端训练。对于正常数据，数据编码生成的重构值与原始输入序列相似，预测值与时间序列的未来值相似，而异常数据生成的重构值与预测值变化较大。因此，在推理过程中，可以通过计算复合模型中的损失函数来精确地检测异常。

编码后的表示和重构误差一起输入到记忆网络，记忆网络得到的是两部分的数据。

低维表示包含两个分量:
(1)从多元信号中提取的特征;
(2)基于欧氏距离和闵可夫斯基距离等距离度量的重构误差。

MMD:目的是使噪声数据的分布接近于正常训练数据的分布，从而降低过拟合的风险。

预测网络
（为了同时捕获空间和时间相关性，我们提出的模型旨在通过同时执行重建分析和预测分析来表征复杂的时空模式。）–再理解理解

非线性预测

采用了一种具有注意机制[60]的双向LSTM，它在计算相关隐藏状态的同时可以考虑全局/局部环境。具体来说，双向LSTM (BiLSTM)以两种方式运行输入，一种是从过去到未来的LSTM，另一种是从未来到过去LSTM。与单向不同的是，这两种隐藏状态的结合能够在任何时间点保存过去和未来的信息。

注意力机制
（疑问：注意力机制的公式并未出现，怎么用上来的）

线性预测

自回归(AR)模型是一种利用观测值和滞后观测值之间的相关性的回归模型。非线性递归网络理论上比AR模型更有表现力和功能。事实上，AR模型在短期建模预测方面也有很好的效果。

联合优化
决策阈值
算法流程
实验数据

characterization network:
Conv2D→Maxpooling→Conv2D→Maxpooling→Conv2DTranspose→Conv2D T ranspose→Conv2D Transpose

memory network contains:
the non-linear network runs with BiLSTM(512)→Attention(h−1)→Dropout(0.2)→FC(1000, linear)
the linear network runs with FC(1000, linear).

按照5:1:4的比例将正常样本分为训练、验证和测试，其中训练和验证集只包含正常样本，与测试集没有重叠。

思考：
这里好像是把重构的数据也一起输入到预测网络进行预测了.

Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals-TKDE-A类-相关推荐

UAINETS: FROM UNSUPERVISED TO ACTIVE DEEP ANOMALY DETECTION(译)
UAINETS: FROM UNSUPERVISED TO ACTIVE DEEP ANOMALY DETECTION 匿名作者双盲评审译者:a易晴天 (最近边看边翻译一篇active anoma ...
【论文阅读】Neural Transformation Learning for Deep Anomaly Detection Beyond Images 异常检测，可学习变换，时间序列，表格数据
本博客系博主阅读论文之后根据自己理解所写,非逐字逐句翻译,预知详情,请参阅论文原文. 论文标题:Neural Transformation Learning for Deep Anomaly Dete ...
Deep Anomaly Detection with Deviation Networks论文阅读
Deep Anomaly Detection with Deviation Networks 两阶段方法的弊端: 间接执行异常分数的优化,导致数据效率低下(因为现有的方法一般是无监督学习,无法利用已知 ...
Deep Anomaly Detection with Deviation Networks 论文笔记
Deep Anomaly Detection with Deviation Networks 论文笔记(自己回顾用) 问题描述算法框架伪代码总结&个人计划问题描述论文利用少部分有标签 ...
论文解读-Deep Anomaly Detection on Attributed Networks
原文:Ding K , Li J , Bhanushali R , et al. Deep Anomaly Detection on Attributed Networks[M]// Proceedi ...
【Paper Notes】Deep Anomaly Detection With Outlier Exposure
论文地址这篇文章是发表在ICLR2019上,主要做分布外检测(Out of Distribution Detection). 目录分布外检测(ODD) 评价方法 FPR[95/90] AU-ROC ...
OOD : A Self-supervised Framework for Unsupervised Deep Outlier Detection e3笔记
然而,最近的研究(如[69].[70])表明,像素级重建方法往往过分强调低层次图像细节,而这些细节对人类感知的兴趣非常有限. 相比之下,高层图像结构的语义被忽略,但它们实际上是基于DNN的OD的关键. ...
【Paper】Deep Learning for Anomaly Detection:A survey
论文原文:PDF 论文年份:2019 论文被引:253(2020/10/05) 922(2022/03/26) 文章目录 ABSTRACT 1 Introduction 2 What are anom ...
【时序异常检测翻译】1.DeepAnT: A Deep Learning Approach for Unsupervised Anomaly Detection in Time Series
DeepAnT:一种用于时间序列中无监督异常检测的深度学习方法摘要传统的基于距离和密度的异常检测技术无法检测流数据中常见的周期性和季节性点异常,在当前物联网时代,时间序列异常检测存在很大差距.为了 ...

Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals-TKDE-A类-

a25-2021-TKDE(A类)-无监督-Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals-精度-基于预测和基于重构

Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals-TKDE-A类-相关推荐

最新文章

热门文章