基于高斯分布的异常检测算法 项目描述
异常检测项目整理
基于高斯分布的异常检测算法
收集特征:电机轴1到6，问问剑桥，那份文档每个参数啥意思。
假设机器数据符合高斯分布，如果不符合，就用对数函数转化为高斯分布。
一个机器的1轴和2轴分别作为特征点，在直角坐标系中形成了一个点，m个机器就会形成m个点，画图。对于一个新的机器，如果新机器的特征点偏离了这块区域，我们就说异常了。
具体实现算法：计算每个特征的平均值和方差，得到一个密度概率函数模型，对于新的特征点，可以根据模型求出对应概率，把这个概率和阈值比较，
小于阈值的概率就是异常。这个阈值可以用交叉验证法得到。具体就是1000个正常数据分为600个训练数据，200个正常数据和异常数据组成验证集，
另外200正常数据和10个异常数据构成测试集。阈值是通过多次尝试，人工得到的。
******************不重要东西******************
算法实现：对于每一个特征值，计算他的平均值和方差，得到一个概率密度函数，对于新的特征，
通过概率密度函数计算他的概率分布，小于就是异常，大于就是正常。
异常检测假设特征符合高斯分布，如果数据的分布不是高斯分布，异常检测算法也能够
工作，但是最好还是将数据转换成高斯分布，例如使用对数函数：
https://www.cnblogs.com/rhyswang/p/7076414.html
该算法是基于高斯分布的异常检测算法(Anomaly Detection Algorithm)，在很多场景中被广泛使用。其算法的核心思想是：
给定一个m*n维训练集，将训练集转换为n为的高斯分布，通过对m个训练样例的分布分析，得出训练集的概率密度函数，
即得出训练集在各个维度上的数学期望μ和方差σ^2，并且利用少量的Cross Validation集来确定一个阈值ε。
当给定一个新的点，我们根据其在高斯分布上算出的概率，及阈值ε，判断当p<ε判定为异常，当p>ε判定为非异常。
异常检测可以用于防止欺诈，比如用于多久登陆一次账号，一般在哪里登陆，经常访问哪些网站，每个月流量多少，打字速度，论坛活跃度，写字风格，常用哪些字，口头禅
。我发现腾讯就有这个功能，
经常提示我qq在异地登录。
我们要构造一个模型，根据测试数据的位置告诉我们他属于哪一类的概率，属于密度估计。我们选择一个阈值ε，将阈值ε作为我们的判定边界。
概率小于阈值，就属于异常，大于阈值就属于正常
飞机引擎的热量和震动。分别放在xy轴，对应在坐标系中的点，如果有m个引擎，就在坐标系中形成了一大片点。每个点都是无标签数据。
如果有新的飞机引擎出来，我们把这个新的引擎叫做测试集，我们根据这个测试数据的坐标点判断他到底合格还是不合格。
基于高斯分布的异常检测算法 项目描述相关推荐
- 基于图的异常检测算法——概述
正在调研基于图的异常检测算法,先出个概述,后面再慢慢填坑 基于图的异常检测 给定一个图数据库,找到其中罕见不同于其他数据对象的点/边/子结构 静态图的异常检测 普通静态图 基于结构 基于特征:利用图结 ...
- 基于时间序列的异常检测算法小结
简介 搜罗了网上几乎所有的基于时间序列的异常检测方法,没有包括文献,整理记录一下. 综合引用以下文章: 数据挖掘导论 时间序列异常检测机制的研究 KPI异常检测竞赛笔记 异常检测之时间序列的异常检测 ...
- 基于高斯分布的异常检测代码实现
import matplotlib.pyplot as plt import numpy as np import csv from numpy import genfromtxt from scip ...
- 《异常检测——从经典算法到深度学习》7 基于条件VAE异常检测
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...
- 基于用户行为建模和异常检测算法的内部威胁检测
Insider Threat Detection Based on User Behavior Modeling and Anomaly Detection Algorithms 内部威胁是授权用户的 ...
- 《异常检测——从经典算法到深度学习》16 基于VAE和LOF的无监督KPI异常检测算法
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...
- 时序异常检测算法汇总
时序异常检测算法 一.ADTK无监督异常检测方法汇总: ThresholdAD将每个时间序列值与给定阈值进行比较 QuantileAD将每个时间序列值与历史分位数进行比较 InterQuartileR ...
- 异常检测算法分类总结（含常用开源数据集）
作者:云智慧算法工程师 Chris Hu 异常检测是识别与正常数据不同的数据,与预期行为差异大的数据.本文详细介绍了异常检测的应用领域以及总结梳理了异常检测的算法模型分类.文章最后更是介绍了常用的异常 ...
- 蚂蚁智能运维：单指标异常检测算法初探
1 背景介绍 AntMonitor:蚂蚁集团研发的一款面向云原生时代的全功能智能运维产品,包含业务监控.应用监控.基础设施监控.云原生可观测.一站式多维分析等功能.其中,智能化的单指标异常检测是该产 ...
最新文章
- 编写高质量代码改善C#程序的157个建议——建议86：Parallel中的异常处理
- spring系列-注解驱动原理及源码-bean组件注册
- Scala _10Actor Model
- 最有效的创建大数据模型的6个技巧
- strict=False 但还是size mismatch for []: copying a param with shape [] from checkpoint,the shape in cur
- vue，html2canvas，网页div保存为图片
- 如何加快数据库查询速度
- .NET环境下水晶报表使用总结
- 1使用技巧_【掘金使用技巧1】合成长周期k线的函数
- linux sleeping进程多_一文掌握Linux实战技能系统管理篇
- 什么是EulerOS
- HTML5新API记录
- 夜,思考——我想要的到底是什么？
- 既有e^x又有sinx或cosx的积分题的解法
- Oracle数据库备份与还原
- 数模学习（10）：灰色系统（老哥）
- 大脑构造图与功能解析_大脑的结构和功能？
- swagger生成redoc文档
- 主流深度学习GPU云平台租赁价格比较表
- 【微信小程序】父子组件之间传值