基于机器学习和深度学习的图数据异常检测综述

背景

「图」 (Graph) 普遍用于建模结构/关系性数据，「节点」 (vertices/nodes) 表示实体，「边」 (edges) 表示实体间存在的关系。

「异常检测」（Anomaly detection）指从数据中挖掘出与大部分对象不同的目标对象（异常点/离群点），这些目标对象的分布和产生机制与其它对象不同。

「图异常检测」（Graph anomaly detection）问题是指：

「Object-level」：在单个图中识别出异常的图对象，例如异常节点、异常边或者异常子图（node/edge/sug-graph-level anomalies）;
「Graph-level」：在图集合/图序列中识别出异常图；

传统异常检测方法和图异常检测方法的区别如下图所示，传统方法不能高效地用于大规模图学习任务并且难以捕获对象节点间的关系，因此基于深度学习的图异常检测方法逐渐兴起，尤其是图神经网络 GNN 的热潮。

但基于深度学习的图异常检测方法存在非常多的局限性：

如何设计异常感知的模型目标函数，可以在模型训练过程中区分异常对象？
如何解释模型检测到的异常，尤其在于金融等传统行业？
如何提高模型的的训练效率并且节约计算资源？
如何在缺少监督信息的情况下优化深度模型的超参数？

面向图数据的异常检测可以应用于社会生活的各个领域，如金融、互联网安全、社交关系挖掘、电信诈骗检测等等。

本文主要学习和总结下当前基于深度学习的图异常检测算法，主要依赖的论文大纲 [^1] 并对其进行简化和补充。

算法模型

根据算法模型的检测级别图异常检测任务大体上分为三类：

Node-Level：图异常检测丨异常节点检测算法模型概述
Edge-Level：图异常检测丨异常边检测算法概述
(Sub)Graph-Level：图异常检测丨异常(子)图检测算法概述

在上述分类下可以根据图数据类型可以进一步区分，主要包括：① 静态图：简单图，属性图 ② 动态图。

基于机器学习和深度学习的图数据异常检测综述相关推荐

基于深度学习的日志数据异常检测
基于深度学习的日志数据异常检测数据对象智能运维(AIOps)是通过机器学习等算法分析来自于多种运维工具和设备的大规模数据.智能运维的分析数据对象多源运维数据包括系统运行时数据和历史记录数据,历史记 ...
Python之GUI：基于Python的GUI界面设计的一套AI课程学习(机器学习、深度学习、大数据、云计算等)推荐系统(包括语音生成、识别等前沿黑科技)
Python之GUI:基于Python的GUI界面设计的一套AI课程学习(机器学习.深度学习.大数据.云计算等)推荐系统(包括语音生成.识别等前沿黑科技) 导读基于Python的GUI界面设计的一套 ...
基于机器学习与深度学习的金融风控贷款违约预测
基于机器学习与深度学习的金融风控贷款违约预测目录一.赛题分析 1. 任务分析 2. 数据属性 3. 评价指标 4. 问题归类 5. 整体思路二.数据可视化分析 1. 总体数据分析 2. 数值型数 ...
资源 | AI、神经网络、机器学习、深度学习以及大数据学习备忘单
向AI转型的程序员都关注了这个号☝☝☝ 以下是关于神经网络.机器学习.深度学习以及大数据学习的备忘单,其中部分内容和此前发布的<资源 | 值得收藏的 27 个机器学习的小抄>有所重复,大家 ...
【网络流量识别】【深度学习】【三】CNN和LSTM—基于信息获取和深度学习的网络流量异常检测
本文是北京大学陆祥林等人,2019年四月发表于ICISDM的一篇文章,收录于ACM网站. 文章题目:基于信息获取和深度学习的网络流量异常检测原文网址:基于信息获取和深度学习的网络流量异常检测|201 ...
SCI总结基于计算机视觉和深度学习的精准农业杂草检测模型
一.介绍本研究提出了一种新的基于计算机视觉和深度学习的精准农业杂草检测和分类(CVDL-WDC)模型.所提出的CVDL-WDC技术旨在正确地区分植物和杂草.所提出的CVDL-WDC技术包括两个过程, ...
什么是机器学习、深度学习、图神经网络？
人工智能是追求目标,机器学习是实现手段,深度学习是其中一种方法. 1 机器学习机器学习是一类算法的总称,这些算法企图从大量历史数据中挖掘出其中隐含的规律,并用于预测或者分类,更具体的说,机器学习可以 ...
【机器学习基础】机器学习和深度学习的练习数据
0.导语初学者学习机器学习和深度学习的时候,经常会找不到练习的数据,本文提供了获取数据的一些方法. 一.scikit-learn自带数据集 Scikit-learn内置了很多可以用于机器学习的数据, ...
【机器学习基础】获取机器学习和深度学习的练习数据
0.导语初学者学习机器学习和深度学习的时候,经常会找不到练习的数据,本文提供了获取数据的一些方法. 一.scikit-learn自带数据集 Scikit-learn内置了很多可以用于机器学习的数据, ...
大数据深度分页_机器学习、深度学习、大数据？傻傻分不清楚？
提起机器学习四个字,不知你的脑海中是否会有一丝印象?毕竟身处信息时代,在日常生活中,无论通过什么媒介,接触到这个名词概念的机会还是挺大的.与之类似,还有以下这些名词概念:数据分析.数据挖掘.深度学习 ...

基于机器学习和深度学习的图数据异常检测综述

背景

算法模型

基于机器学习和深度学习的图数据异常检测综述相关推荐

最新文章

热门文章