DeepLog: 基于深度学习对系统日志进行异常检测和诊断

Min Du, Feifei Li, Guineng Zheng, Vivek Srikumar
School of Computing, University of Utah
{mind, lifeifei, guineng, svivek}@cs.utah.edu

摘要

异常检测是构建安全可靠系统的关键步骤。系统日志的主要目的是记录系统状态和重大事件在不同的临界点来帮助调试系统故障和执行根源分析。这样的日志数据在几乎所有的计算机系统中都是通用的。日志数据是了解系统状态和性能问题的重要和有价值的资源;因此，各种系统日志自然是在线监视和异常检测的良好信息来源。我们提出了一种利用长短时记忆(LSTM)的深度神经网络模型DeepLog，将系统日志建模为自然语言序列。这使DeepLog可以自动地从正常执行中学习日志模式并在正常执行情况下日志模式偏离日志数据训练的模型时检测异常。此外,我们演示了如何以在线方式增量更新DeepLog模型，以便其可以随着时间的推移适应新的日志模式。此外，Deeplog从底层系统构建工作流，以便一旦检测到异常，用户就可以诊断出检测到的异常并有效地进行根本原因分析。对于大型日志数据进行的广泛实验评估表明，Deeplog的性能优于基于传统数据挖掘方法的其他现有的日志异常检测方法。

关键词

异常检测；深度学习；日志数据分析

引言

异常检测是构建安全可靠的计算系统的一个重要任务。随着系统和应用程序比以往任何时候都变得越来越复杂，它们会遇到更多的错误和漏洞，攻击者可能利用这些错误和漏洞来发起攻击。这些攻击也越来越复杂。因此，异常检测变得更具挑战性，并且许多基于标准数据挖掘的传统方法不再有效。

系统日志在各

DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning相关推荐

【异常检测第一篇】DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning
前言异常检测也属于时间序列问题的一个大分支,记下来一段时间我也会定期分享一些这方面的内容,结合很多ML,DL知识的异常检测和诊断问题,我们一起努力! 笔记很长,请细心阅读~ 一. Address p ...
【读论文】A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time...
目录 1. 这篇文章的主要研究内容 2. MSCRED Framework 1. Problem Statement 2. Overview (1)Characterizing Status with ...
[文献阅读]A deep neural network for unsupervised anomaly detection and diagnosis in MTSD
A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series D ...
Check-N-Run: a Checkpointing System for Training Deep Learning Recommendation Models | NSDI‘ 22
分布式机器学习论文分享 | Check-N-Run: a Checkpointing System for Training Deep Learning Recommendation Models | ...
【时序异常检测翻译】3.A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate T
多元时间序列数据无监督异常检测与诊断的深层神经网络摘要如今,多变量时间序列数据越来越多地被收集到各种现实世界的系统中,例如发电厂.可穿戴设备等.多变量时间序列中的异常检测和诊断指的是识别特定时间步 ...
异常检测（Anomaly detection）方法小结
文章目录一.基于规则处理二.基于统计学处理三.基于机器学习处理 3.1 无监督方法 3.2 半监督方法 3.3 有监督方法四.数据类型 4.1. 高维数据 4.2. 时间序列数据 4.3. 文 ...
【论文合集】Awesome Anomaly Detection
github:GitHub - bitzhangcy/Deep-Learning-Based-Anomaly-Detection Anomaly Detection: The process of d ...
【Paper】Deep Learning for Anomaly Detection:A survey
论文原文:PDF 论文年份:2019 论文被引:253(2020/10/05) 922(2022/03/26) 文章目录 ABSTRACT 1 Introduction 2 What are anom ...
AutoEncoder anomaly detection
这里写目录标题 Re-parametric Video anomaly detection and localization via Gaussian Mixture Fully Convolutio ...

DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning

DeepLog: 基于深度学习对系统日志进行异常检测和诊断

摘要

关键词

引言

DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning相关推荐

最新文章

热门文章