异常检测算法之LOF算法

2024-05-14 15:53:53

异常检测算法之LOF

首先了解什么是LOF算法
- 算法特点
- 实现方法
- 实践检验

首先了解什么是LOF算法

LOF算法又叫局部异常因子算法，它是一种基于距离的异常检测算法，我认为该算法比较详细的博客如下：LOF.
lof 的主要思想如下：通过比较每个点p和其邻域的密度来判断该点是否为异常点，如果点p的密度越低，越有可能被认为是异常点。至于密度，是通过点和点之间的距离来进行计算的，点和点之间的距离越小，则密度越高；反之则就越低。

算法特点

LOF算法主要特点包括如下：
LOF是一种非监督式的算法
LOF是一种基于密度的算法
LOF算法适合对于不同密度的数据进行异常检测

最近在研究关于APT攻击的恶意流量数据的检测，我认为该方法可以应用到检测恶意流量的范畴。当然异常检测也可以属于二分类的范畴，正常和不正常。但是APT攻击的恶意流量数据较少，存在样本不均衡的问题，初步设想，先采用异常值检测的算法较为科学。

采用的数据集为IDS入侵2017的公开数据集，网址为https://www.unb.ca/cic/datasets/ids-2018.html
这个数据集周一采集的数据为正常数据，周二到周末为参杂了恶意流量的数据。

实现方法

基于python的sklearn的第三方库，进行实现，参数说明参考官网：https://scikit-learn.org/stable/modules/outlier_detection.html#outlier-detection

其中参数：novelty ：默认为 flase ，是否可以用来做新奇检测

实践检验

将数据集中的周一正常数据给lof算法进行训练，然后用周二带有恶意流量的数据进行新奇点检测：

这种基于lof算法的新奇点检测明显的感觉就是训练时间较长，尤其是数据的维度较高时，会有很长时间的训练时间。sklearn好像还不支持GPU加速

异常检测算法之LOF算法相关推荐

AIOps指标异常检测之无监督算法
随着系统规模的变大.复杂度的提高.监控覆盖的完善,监控数据量越来越大,运维人员无法从海量监控数据中发现质量问题.智能化的异常检测就是要通过AI算法,自动.实时.准确地从监控数据中发现异常,为后续的诊断 ...
异常检测-基于孤立森林算法Isolation-based Anomaly Detection-1-论文学习
异常检测-基于孤立森林算法Isolation-based Anomaly Detection-1-论文学习参考文章: (1)异常检测-基于孤立森林算法Isolation-based Anomaly ...
UEBA 学术界研究现状——用户行为异常检测思路：序列挖掘prefixspan，HMM，LSTM/CNN，SVM异常检测，聚类CURE算法...
论文技术分析 <关于网络分层信息泄漏点快速检测仿真> "1.基于动态阈值的泄露点快速检测方法,采样Mallat算法对网络分层信息的离散采样数据进行离散小波变换;利用滑动窗口对 ...
异常检测之普通高斯算法和多元高斯算法学习总结
普通高斯算法: 特点:如果不主动去建立特征与特征之间的关系特征,则普通的高斯算法没有特征的关联性实现方式简述: 1.取1000组非异常的对象,并归纳其n中特种 2.分别计算每种特种高斯公式函数里的 ...
异常检测之孤立森林算法详细解释且配上代码运行实例
由于异常值往往有的两个特点:异常数据只占很少量.异常数据特征值和正常数据差别很大.孤立森林,不是描述正常的样本点,而是要孤立异常点,由周志华教授等人于2008年在第八届IEEE数据挖掘国际会议上提出. ...
【机器学习】一文读懂异常检测 LOF 算法（Python代码）
本篇介绍一个经典的异常检测算法:局部离群因子(Local Outlier Factor),简称LOF算法. 背景 Local Outlier Factor(LOF)是基于密度的经典算法(Breunin ...
数学建模：异常检测算法
一.简介 – 关于异常检测异常检测(outlier detection)在以下场景: 数据预处理病毒木马检测工业制造产品检测网络流量检测等等,有着重要的作用.由于在以上场景中,异常的数据量都 ...
Metis异常检测算法源码概要
Metis异常检测算法源码概要算法源码目录算法层目录基于指数移动平均算法(EWMA) 孤立森林 xgboost gbdt 3-Sigma 多项式回归特征层目录拟合特征分类特征统计特征其 ...
OpenI启智社区开源算法框架推荐——新一代工业视觉无监督异常检测框架“READ”
工业缺陷检测是工业届非常重要且不可或缺的一项任务,由于工业场景异常缺陷多种多样,传统的机器视觉算法很难实现对缺陷特征完整的建模和迁移,算法复用相对困难,同时要求区分工况,从而造成大量的人力成本的浪费. ...

最新文章

热门文章