数据中的异常值可能会使预测失真并影响准确性，最近我们被客户要求撰写关于离群值处理的研究报告，包括一些图形和统计输出。尤其是在回归模型中，如果您没有正确检测并处理它们，那么它们会影响精度，

为什么异常值检测很重要？

在真实观察中处理或改变异常值/极端值不是标准操作程序。但是，了解它们对预测模型的影响至关重要。留待调查人员判断是否需要治疗异常值以及如何去做。

那么，为什么识别极端值很重要？因为，它可以大大偏倚/改变合适的估计和预测。让我使用cars数据集来说明这一点。

为了更好地理解异常值的含义，我将比较具有和不具有异常值的汽车数据集的简单线性回归模型的拟合。为了清楚地区分效果，我手动将极端值引入原始数据集。然后，我预测这两个数据集。

检测异常值

单变量方法

对于给定的连续变量，异常值是那些位于1.5 * I Q R之外的观测值，其中IQR，“四分位数间距”是第75和第25个四分位之间的差值。在盒子下面看看胡须外的点。

双变量方法

可视化X和Y的框图，用于分类X

什么是推论？盒子水平的变化表明，Month似乎有影响，ozone_reading而Day_of_week没有。相应分类层级中的任何异常值都显示为盒外晶须外的点。

你可以在箱形图中看到几个异常值，以及这个值是如何ozone_reading增加的pressure_height。这很清楚。

多变量模型方法

基于仅仅一个（相当不重要）的特征声明观察结果为异常值可能会导致不切实际的推论。当你必须决定一个单独的实体（由行或观察值表示）是否是极值时，最好集体考虑重要的特征（X）。输入Cook的距离。

库克距离

库克距离是一个关于给定回归模型计算的度量，因此仅受模型中包含的X个变量的影响。但是，厨师的距离是什么意思？它计算每个数据点（行）对预测结果的影响。

现在让我们从原始数据中找出有影响的行。如果你提取并检查每一个有影响的行（从下面的输出），你将能够推断出为什么该行变得有影响力。模型中包含的X个变量之一可能具有极端值。

异常值测试

该功能outlierTest从car包中给出了基于给定的模型最极端的观察。以下是基于mod我们刚创建的线性模型对象的示例。

R语言离群值处理分析相关推荐

R语言亚组分析 (Subgroup Analysis)及森林图绘制实战
R语言亚组分析 (Subgroup Analysis)及森林图绘制实战目录 R语言亚组分析 (Subgroup Analysis)及森林图绘制实战 #亚组分析
R语言伪相关性分析（Spurious Correlation）、相关关系不是因果关系：以哺乳动物数据集msleep为例
R语言伪相关性分析(Spurious Correlation):相关关系不是因果关系.相关关系不是因果关系.相关关系不是因果关系 #correlation doesn't means causatio ...
R语言伪相关性分析（Spurious Correlation）、相关关系不是因果关系：以缅因州离婚率数据集为例
R语言伪相关性分析(Spurious Correlation).相关关系不是因果关系:以缅因州离婚率数据集为例 #correlation doesn't means causation 目录
R语言构建生存分析（survival analysis）模型示例
R语言构建生存分析(survival analysis)模型示例生存分析处理的是预测特定事件将要发生的时间.它也被称为失败时间分析或死亡时间分析.例如,预测癌症患者存活的天数,或者预测机械系统将要失 ...
pvrect r语言聚类_技术贴 | R语言——肠型分析：介绍、方法
点击蓝字↑↑↑"微生态",轻松关注不迷路导读 2011年,肠型(Enterotypes)的概念首次在<自然>杂志上由Arumugam等[1]提出,该研究发现可以将人类 ...
R语言实现单因素方差分析
1.方差分析基本原理:是一种分析各类别自变量对数值因变量影响的一种统计方法.自变量对因变量的影响也称为自变量效应.由于影响效应的大小体现为因变量的误差里有多少是由自变量造成的,因此,方差分析通过对数据 ...
R语言逻辑回归预测分析付费用户
原文链接:http://tecdat.cn/?p=967 对于某企业新用户,会利用大数据来分析该用户的信息来确定是否为付费用户,弄清楚用户属性,从而针对性的进行营销,提高运营人员的办事效率(点击文末& ...
r语言实现关联分析--关联规则挖掘（Apriori算法）（r语言预测学习笔记）
r语言实现关联分析–关联规则挖掘关联分析: 引子: 我们一般把一件事情发生,对另一间事情也会产生影响的关系叫做关联.而关联分析就是在大量数据中发现项集之间有趣的关联和相关联系(形如"由于某 ...
R语言灰色关联分析法
R语言灰色关联分析法输入数据数据的标准化/归一化求灰色系数求差序列和最大值最小值求关联系数计算关联度并排序所有代码灰色关联度分析(Grey Relation Analysis,GRA) ...

R语言离群值处理分析