Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications

网络结构和随机变量
模型重构常规模式的步骤：
训练细节

论文链接：https://arxiv.org/pdf/1802.03903.pdf
关键词：Donut算法

网络结构和随机变量

prior:
- z: $p_\theta(z) \sim N(0, I) $
- x: vector of : $x_{t-W+1},…,x_t $
posterior:
- x: pθ(x∣z)=N(μx,σx2I)p_{\theta}(x|z) = N(\mu_x, \sigma_x^2 I)pθ(x∣z)=N(μx,σx2I)
- z: qϕ(z∣x)=N(μz,σz2I)q_\phi(z|x)=N(\mu_z, \sigma_z^2I)qϕ(z∣x)=N(μz,σz2I)
hidden features:(通过Hidden Layers–full-connected layer【简单的结构可以更好的解释网络】进行提取）
- x：fϕ(x)f_\phi(x)fϕ(x)
- z: fθ(z)f_\theta(z)fθ(z)
Gaussian parameters:(通过hidden feature进行生成）
- linear layers：
  - μx=WμxTfθ(z)+bμx\mu_x=W^T_{\mu_x}f_\theta(z)+b_{\mu_x}μx=WμxTfθ(z)+bμx
  - μz=WμzTfϕ(x)+bμz\mu_z=W^T_{\mu_z}f_\phi(x)+b_{\mu_z}μz=WμzTfϕ(x)+bμz
- SoftPlus：(加上一个很小的非负数ϵ\epsilonϵ）
  - σx=SoftPlus[WσxTfθ(z)+bσx]+ϵ\sigma_x=SoftPlus[W^T_{\sigma_x}f_\theta(z)+b_{\sigma_x}] + \epsilonσx=SoftPlus[WσxTfθ(z)+bσx]+ϵ
  - σz=SoftPlus[WσzTfϕ(x)+bσz]+ϵ\sigma_z=SoftPlus[W^T_{\sigma_z}f_\phi(x)+b_{\sigma_z}]+\epsilonσz=SoftPlus[WσzTfϕ(x)+bσz]+ϵ
  - SoftPlus[a]=log[exp(a)+1]SoftPlus[a] = log[exp(a)+1]SoftPlus[a]=log[exp(a)+1]

模型重构常规模式的步骤：

这幅图体现的过程是，通过使用模型，对测试集中有missing points的数据进行重构还原，更具体的细节可以在Bagel算法论文中看到，如下图：

在训练过程中，并注入数据填补缺失的内容，而是简单的将其值设置为0
上面的数据注入，实在测试集上，仅当模型训练完，才进行缺失数据的注入（使用Donut生成的片段）

训练细节

SGVB 算法
- re-paramerterization:
  - 原本： z∼N(μz,σz2I)z \sim N(\mu_z, \sigma^2_zI)z∼N(μz,σz2I)
  - 改为：ξ∼N(0,I),z(ξ)=μz+ξ⋅σz\xi \sim N(0, I), \qquad z(\xi)=\mu_z+\xi\cdot\sigma_zξ∼N(0,I),z(ξ)=μz+ξ⋅σz

目标函数：
L~(x)=Eqϕ(z∣x)[∑w=1Wαwlogpθ(xw∣z)+βlogpθ(z)−logqϕ(z∣x)]\widetilde{L}(x) = E_{q_\phi(z|x)}[\sum^W_{w=1} \alpha_w logp_\theta(x_w|z) + \beta logp_\theta(z)-logq_\phi(z|x)] L(x)=Eqϕ(z∣x)[w=1∑Wαwlogpθ(xw∣z)+βlogpθ(z)−logqϕ(z∣x)]

αw=1时表示xw不是异常或者缺失点；αw=0，则表示xw是非正常点，直接将异常排除\alpha_w=1时表示x_w不是异常或者缺失点；\alpha_w=0，则表示x_w是非正常点，直接将异常排除αw=1时表示xw不是异常或者缺失点；αw=0，则表示xw是非正常点，直接将异常排除
β=(∑w=1Wαw)/W，当正常点越多，噪点所起作用也越大\beta = (\sum^W_{w=1}\alpha_w)/W，当正常点越多，噪点所起作用也越大β=(∑w=1Wαw)/W，当正常点越多，噪点所起作用也越大
注意到，αw\alpha_wαw 其实表示人为的标注，为0的值越多表示人工标注越多，当然如果没有任何标注，算法也能继续运行。这一点使得该算法能很好的处理少量标注的情况
函数E的计算方式如下：Eqϕ(z∣x)[x]=1N∑iNxiE_{q_\phi(z|x)}[x] = \frac{1}{N}\sum^N_i x^iEqϕ(z∣x)[x]=N1∑iNxi, N为qϕ(z∣x)q_\phi(z|x)qϕ(z∣x)的样本数

Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications相关推荐

【Donut论文】Unsupervised anomaly detection via variational auto-encoder for seasonal kpis...
简述本文提出的 Donut,基于 VAE(代表性的深层生成模型)的无监督异常检测算法,伴有理论解释,可以无标签或偶尔提供的标签下学习. 本文贡献 1,Donut 里的三项技术:改进的 ELBO,缺失 ...
【读论文】A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time...
目录 1. 这篇文章的主要研究内容 2. MSCRED Framework 1. Problem Statement 2. Overview (1)Characterizing Status with ...
[文献阅读]A deep neural network for unsupervised anomaly detection and diagnosis in MTSD
A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series D ...
【时序异常检测翻译】1.DeepAnT: A Deep Learning Approach for Unsupervised Anomaly Detection in Time Series
DeepAnT:一种用于时间序列中无监督异常检测的深度学习方法摘要传统的基于距离和密度的异常检测技术无法检测流数据中常见的周期性和季节性点异常,在当前物联网时代,时间序列异常检测存在很大差距.为了 ...
MVTec AD—A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection 2019 CVPR
MVTec AD-A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection 2019 CVPR 作者:Paul Ber ...
【Paper】A Comparative Evaluation of Unsupervised Anomaly Detection Algorithms for Multivariate Data
论文原文:HTML 论文年份:2020 论文被引:396(2020/10/03) 696(2022/03/26) 文章目录 Abstract Introduction Categorization o ...
【人工智能概论】变分自编码器（Variational Auto Encoder , VAE）
[人工智能概论] 变分自编码器(Variational Auto Encoder , VAE) 文章目录 [人工智能概论] 变分自编码器(Variational Auto Encoder , VAE) ...
《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解
<SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection>论文阅读理解领域:用于医学图像的异常检测论文地址 ...
Auto Encoder(AE)，Denoising Auto Encoder(DAE), Variational Auto Encoder(VAE) 区别
文章主要内容参考李宏毅老师的机器学习课程:https://www.bilibili.com/video/BV1Wv411h7kN?p=70 Auto Encoder: 是什么?有什么用? Auto E ...

Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications

Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications

网络结构和随机变量

模型重构常规模式的步骤：

训练细节

Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications相关推荐

最新文章

热门文章