关于如何使用机器学习来做异常检测的7个问题

导读

异常检测的一些入门问题。

问问题是学习的好方法之一。但有时你不知道从哪里开始，或者该问什么 —— 尤其是在你还比较熟悉的异常检测之类的话题上。在这种情况下，最好倾听别人的问题，让他们的思路来指导你的学习。以下是我们在“[Ask Me Anything: Anomaly Detection](https://www.tibco.com/events/ask-me- anything-webinar-anomaly-detecing-machine -learning)”网络研讨会上收到的一些问题，可以帮助你入门。

离群点和异常值的区别是什么?

离群值是远离分布的位置或者平均值的观测值。然而，它们并不一定代表异常行为或由不同过程产生的行为。另一方面，异常是由不同的过程生成的数据模式。

异常检测在药品中有什么应用吗?

异常检测在药物生命科学领域有许多应用。包括在制药生产中使用统计过程控制(SPC)或质量控制(QC)和多元过程控制(MSPC)图表进行过程监控和质量控制。及时发现异常是避免异常事件发生，遵守安全标准的关键。发现柜台交易中的异常情况，可以用来打击医药零售数据中的处方滥用。实时检测多参数临床试验数据中的异常，有助于保证临床试验的成功。

GANs也用于异常检测吗?如果是的话，能否提供一个行业用例

生成对抗网络(GANs)是一种新的无监督学习方法，在识别异常方面非常有效。由于GANs是设计成迭代的，并且对抗性训练的目的是利用重构样本来优化减少残差损失，因此它们在半结构化和非结构化数据中工作得很好。它们在医学图像分析(帮助放射学家发现难以识别的肿瘤)、面部识别、文本图像转换等方面非常有用。

数据相关性会影响异常检测吗?我们可以用什么方法，怎样减少这些影响?是否最好在开始异常检测之前清除和删除关联数据?

正如在网络研讨会上提到的，我们不认为相关性会影响异常检测，但我们有许多可用的技术来帮助确定如何处理相关变量。一个建议是使用主成分分析(PCA)这样的技术来减少维数。

建议使用什么样的算法适合于检测与识别网络活动或数据中的不寻常活动有关的异常?

正如在网络研讨会上提到的，有许多方法和算法可以很好地用于异常检测的各种应用和用例。其中有递归神经网络(RNN)、生成对抗网络(GAN)、隔离森林、深度自编码器等。如果你对网络/图分析特别感兴趣，用来识别网络图异常的两种主要方法是直接邻居离群点检测算法(DNODA)和社区邻居算法(CNA)。

在我目前的工作中，“新颖性”是我们努力去发现的主要东西。质量控制图对于已知的模式很有效，但是自动识别新模式比较困难。我希望能得到一些在这方面有所帮助的工具的想法。

对于单变量质量控制图，西方的电气规则可以用于检测少数常见的模式。经典的多元方法，如偏最小二乘(PLS)，会捕获到涉及不止一个变量的模式，但不能被单变量方法检测。自动编码器是最全面的工具，将涵盖最广泛的不同模式。它可以捕获多变量、循环、非线性和交互的模式。你使用一组正常数据训练autoencoder，在训练集中没有出现的新数据中出现的任何模式都将被标记。

通过做PCA来减少维度会影响数据集中的异常吗?它会导致异常现象的消失吗?如果是这样，如何预防呢?

做PCA将会在原始数据集中捕获一些百分比的方差。因此，我们使用PCA进行异常检测的方法是计算原始点到低维空间中表示的点的“距离”。距离越大(即在将观测结果映射到低维空间时“丢失”的越多)，我们就越认为它是一种异常。

关于如何使用机器学习来做异常检测的7个问题相关推荐

【机器学习基础】关于如何使用机器学习来做异常检测的7个问题
作者:David Sweenor 编译:ronghuaiyang 导读异常检测的一些入门问题. 问问题是学习的最好方法之一.但有时你不知道从哪里开始,或者该问什么 -- 尤其是在你还比较熟悉的 ...
基于机器学习的web异常检测（转）
阿里聚安全 Web防火墙是信息安全的第一道防线.随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战.传统web入侵检测技术通过维护规则集对入侵访问进行拦截.一方面,硬规则在灵活 ...
基于机器学习的web异常检测——基于HMM的状态序列建模，将原始数据转化为状态机表示，然后求解概率判断异常与否...
基于机器学习的web异常检测 from: https://jaq.alibaba.com/community/art/show?articleid=746 Web防火墙是信息安全的第一道防线.随着网络 ...
基于机器学习的web异常检测
Web防火墙是信息安全的第一道防线.随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战.传统web入侵检测技术通过维护规则集对入侵访问进行拦截.一方面,硬规则在灵活的黑客面前, ...
以实时风控场景为例，阿里云实时计算如何来做异常检测？
内容来源:本文内容由阿里云实时计算,流计算团队提供.IT 大咖说(微信id:itdakashuo)作为独家合作方,经授权发布. 阅读字数:3102 | 8分钟阅读前言 DT时代,数据是最重要的生产资 ...
机器学习中的异常检测
机器学习最常用的应用程序之一是异常检测.寻找和识别异常有助于防止欺诈.对手攻击和网络入侵,所有这些都可能危及公司的未来. 在这篇文章中,我们将讨论如何进行异常检测,可以使用哪些机器学习技术,以及使用机 ...
基于机器学习的KPI异常检测（当初的讲课课件）
基于机器学习的KPI异常检测(当初的讲课课件)
使用计算机视觉来做异常检测
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:Mia Morton 编译:ronghuaiyang(AI公园) 导读创建异常检测模型,实现生 ...
Andrwe Ng带我漫步机器学习 - 第九周异常检测模型和推荐系统
异常检测模型和推荐系统异常检测密度估计高斯分布(正态分布) 密度估计算法单个样本样本集数字评估分割数据集算法评估选择特征非高斯分布特征处理误差分析异常检测与监督学习推荐系统 ...

关于如何使用机器学习来做异常检测的7个问题

关于如何使用机器学习来做异常检测的7个问题相关推荐

最新文章

热门文章