sklearn自学指南(part45)--新颖性和离群值检测概述

学习笔记，仅供参考，有错必究

新颖性和离群值检测

概述

许多应用程序要求能够判断一个新的观测值是否与现有的观测值属于相同的分布(它是内值)，还是应该被视为不同的分布(它是离群值)。通常，这种能力用于清洁实际的数据集。必须两个重要区别必须被声明：

outlier detection(离群检测)

训练数据包含离群值，离群值定义为与其他观测值相距甚远的观测值。因此，异常检测估计器会尝试拟合训练数据最集中的区域，而忽略异常观察。
novelty detection(新颖性检测)

训练数据不会被离群值污染，我们感兴趣的是检测一个新的观测值是否是离群值。在这种情况下，离群值也被称为novelty。

离群检测和新颖性检测均用于异常检测，其中一种是检测异常或不寻常的观测值。因此，异常检测也称为非监督异常检测，而新颖性检测也称为半监督异常检测。在离群值检测的情况下，离群值/异常不能形成密集的群集，因为可用的估计量假设离群值/异常位于低密度区域。相反，在新颖性检测的情况下，只要新颖性/异常位于训练数据的低密度区域（在此上下文中被视为正常），就可以形成密集的簇。

scikit-learn项目提供了一套机器学习工具，可以用于新颖性或异常值检测。这一策略是通过以无监督的方式从数据中学习对象来实现的：

estimator

sklearn自学指南(part45)--新颖性和离群值检测概述相关推荐

sklearn自学指南(part46)--新颖性和离群值检测方法概述
学习笔记,仅供参考,有错必纠文章目录新颖性和离群值检测离群点检测方法概述新颖性检验离群值检测拟合椭圆包络孤立森林局部离群因子基于局部离群因子的新颖性检测新颖性和离群值检测离群点检 ...
sklearn自学指南(part40)--使用手册的目录
学习笔记,仅供参考,有错必究文章目录 2.6. 协方差估计 2.7. 新颖性和异常值检测 2.8. 密度估计 2.9. 神经网络模型(无监督) 2.6. 协方差估计 2.6.1. 经验方差 2.6. ...
sklearn自学指南(part22)--支持向量机的分类与回归
学习笔记,仅供参考,有错必纠文章目录支持向量机分类多分类问题分数和概率不平衡的问题回归密度估计,新颖性检测复杂性支持向量机支持向量机(SVM)是一组用于分类.回归和异常检测的有监 ...
sklearn自学指南(part4)--使用手册的目录
学习笔记,仅供参考,有错必纠自翻译+举一反三文章目录 1.4. 支持向量机 1.5. 随机梯度下降法 1.6. 近邻 1.4. 支持向量机 1.4.1. 分类 1.4.2. 回归 1.4.3. 密 ...
sklearn自学指南(part57)--协方差估计
学习笔记,仅供参考,有错必纠文章目录协方差估计经验协方差缩减协方差基本的收缩 Ledoit-Wolf收缩甲骨文近似收缩(Oracle Approximating Shrinkage) 稀疏 ...
sklearn自学指南(part43)--数据加载工具
学习笔记,仅供参考,有错必究文章目录数据加载工具 Toy datasets Real world datasets 用法数据加载工具 sklearn.datasets 包嵌入了一些在入门的一节中 ...
sklearn自学指南(part34)--K-means
学习笔记,仅供参考,有错必究文章目录聚类聚类方法概述 K-means Low-level parallelism Mini Batch K-Means 聚类未标记数据的聚类可以通过模块skle ...
sklearn自学指南(part31)--半监督学习
学习笔记,仅供参考,有错必纠文章目录半监督学习自我训练标签传播半监督学习 Semi-supervised learning是指在你的训练数据中,有些样本是没有标签的情况.sklearn.se ...
sklearn自学指南(part30)--特征选择
学习笔记,仅供参考,有错必纠文章目录特征选择移除低方差变量单变量特征选择递归特征消除(Recursive feature elimination) 使用SelectFromModel进行特征 ...

sklearn自学指南(part45)--新颖性和离群值检测概述

新颖性和离群值检测

概述

sklearn自学指南(part45)--新颖性和离群值检测概述相关推荐

最新文章

热门文章