ICLR-2018

摘要

对于多维或高维数据的无监督异常检测在基础机器学习研究和工业应用中都是非常重要的，其密度估计是核心。虽然先前基于维数降低随后密度估计的方法取得了丰硕成果，但它们主要受到模型学习的解耦，其优化目标不一致，并且无法在低维空间中保留基本信息。在本文中，我们提出了深度自动编码高斯混合模型（DAGMM）用于无监督异常检测。我们的模型利用深度自动编码器为每个输入数据点生成低维表示和重建误差，并进一步输入高斯混合模型（GMM）。 DAGMM不是使用解耦的两阶段训练和标准的期望最大化（EM）算法，而是以端到端的方式同时优化深度自动编码器和混合模型的参数，利用单独的估计网络来促进混合模型的参数学习。联合优化很好地平衡了自动编码重建，潜在表示的密度估计和正则化，有助于自动编码器逃离不太吸引人的局部最优，并进一步减少重建错误，避免了预训练的需要。几个公共基准数据集的实验结果表明，DAGMM明显优于最先进的异常检测技术，并且基于标准F1得分可实现高达14％的改进。

Introduction

在本文中，我们提出了深度自动编码高斯混合模型（DAGMM），这是一个深度学习框架，从几个方面解决了无监督异常检测中的上述挑战。

首先，DAGMM在低维空间中保留输入样本的关键信息，该低维空间包括由维数减少和诱导重建误差发现的减小维度的特征。从图1所示的例子中，我们可以看到异常在两个方面与正常样本不同：（1）异常可以在缩小的维度中显着偏离，其特征以不同的方式相关; （2）与正常样本相比，异常难以重建。与仅涉及具有次优性能的方面之一（Zimek等人（2012）; Zhai等人（2016））的现有方法不同，DAGMM利用称为压缩网络的子网络通过自动编码器执行降维，通过连接来自编码的减少的低维特征和来自解码的重建误差，为输入样本准备低维表示。

其次，DAGMM在学习的低维空间上利用高斯混合模型（GMM）来处理具有复杂结构的输入数据的密度估计任务，这对于现有工作中使用的简单模型来说相当困难（Zhai等人（2016）））。虽然GMM具有强大的能力，但它也在模型学习中引入了新的挑战。由于GMM通常通过诸如期望最大化（EM）（Huber（2011））等交替算法来学习，因此难以进行维数降低和密度估计的联合优化，有利于GMM学习，GMM学习通常退化为传统的两步法做法。为了解决这一培训挑战，DAGMM利用称为估计网络的子网络，**该子网络从压缩网络获取低维输入并输出每个样本的混合成员预测。**利用预测的样本成员资格，我们可以直接估计GMM的参数，便于评估输入样本的能量/可能性。通过同时最小化来自压缩网络的重建误差和来自估计网络的样本能量，我们可以联合训练直接帮助目标密度估计任务的维数减少组件。

最后，DAGMM对端到端培训很友好。通常，通过端到端训练很难学习深度自动编码器，因为它们很容易陷入不那么有吸引力的局部最佳状态，因此广泛采用预训练（Vincent et al。（2010）; Yang et al。（ 2017a）;谢等人（2016））。但是，预训练限制了调整降维行为的可能性，因为很难通过微调对训练有素的自动编码器进行任何重大改变。我们的实证研究表明，DAGMM通过端到端训练得到了充分的学习，因为估计网络引入的正则化极大地帮助压缩网络中的自动编码器摆脱了不太吸引人的局部最优。几个公共基准数据集的实验表明，DAGMM具有优于现有技术的卓越性能，异常检测的F1得分提高了14％。此外，我们观察到端到端训练中DAGMM中自动编码器的重建误差与其预训练对应物的重建误差一样低，而来自估计网络没有正则化的自动编码器的重建误差保持不变高。此外，端到端训练的DAGMM明显优于依赖于预先训练的自动编码器的所有基线方法。

OVERVIEW

深度自动编码高斯混合模型（DAGMM）由两个主要部分组成：压缩网络和估计网络。如图2所示，DAGMM的工作原理如下：（1）压缩网络通过深度自动编码器对输入样本进行降维，从缩小的空间和重建误差特征中准备它们的低维表示，并将表示提供给随后的估算网络; （2）估计网络采用馈送，并在高斯混合模型（GMM）的框架中预测它们的似然/能量。

DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION相关推荐

【时序异常检测翻译】3.A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate T
多元时间序列数据无监督异常检测与诊断的深层神经网络摘要如今,多变量时间序列数据越来越多地被收集到各种现实世界的系统中,例如发电厂.可穿戴设备等.多变量时间序列中的异常检测和诊断指的是识别特定时间步 ...
【时序异常检测翻译】1.DeepAnT: A Deep Learning Approach for Unsupervised Anomaly Detection in Time Series
DeepAnT:一种用于时间序列中无监督异常检测的深度学习方法摘要传统的基于距离和密度的异常检测技术无法检测流数据中常见的周期性和季节性点异常,在当前物联网时代,时间序列异常检测存在很大差距.为了 ...
高斯混合模型--GMM（Gaussian Mixture Model）
参考:http://blog.sina.com.cn/s/blog_54d460e40101ec00.html 概率指事件随机发生的机率,对于均匀分布函数,概率密度等于一段区间(事件的取值范围)的概率 ...
高斯混合模型Gaussian Mixture Model (GMM)——通过增加 Model 的个数，我们可以任意地逼近任何连续的概率密分布...
从几何上讲,单高斯分布模型在二维空间应该近似于椭圆,在三维空间上近似于椭球.遗憾的是在很多分类问题中,属于同一类别的样本点并不满足"椭圆"分布的特性.这就引入了高斯混合模型.--可 ...
GMM(Gaussian mixture model, 高斯混合模型)
GMM全称是Gaussian mixture model (高斯混合模型).与k-means算法类似,GMM也是一种常见的聚类算法,它与k-means区别主要在于,GMM是一种"软聚类&qu ...
聚类(1)——混合高斯模型 Gaussian Mixture Model
聚类系列: 聚类(序)----监督学习与无监督学习聚类(1)----混合高斯模型 Gaussian Mixture Model 聚类(2)----层次聚类 Hierarchical Clusteri ...
高斯-赛得尔迭代式 c++_高斯混合模型(Gaussian Mixture Model)与EM算法原理(一)
高斯混合模型(Gaussian Mixture Model)是机器学习中一种常用的聚类算法,本文介绍了其原理,并推导了其参数估计的过程.主要参考Christopher M. Bishop的<Pa ...
ML之GMM：Gaussian Mixture Model高斯混合模型相关论文、算法步骤相关配图
Gaussian Mixture Model高斯混合模型相关概念及配图目录 GMM相关论文 GMM算法步骤相关配图 GMM相关论文更新-- GMM算法步骤相关配图
语音识别学习日志 2019-7-14 语音识别基础知识准备2 {EM算法与混合高斯模型(Gaussian mixture model, GMM)}
https://blog.csdn.net/lin_limin/article/details/81048411会对GMM和EM做详细介绍本文参考: http://www.ituring.com.c ...

DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION

ICLR-2018

摘要

Introduction

OVERVIEW

DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION相关推荐

最新文章

热门文章