Matlab IQR准则剔除异常值

时间序列分析中，要先进行数据的预处理工作，也即异常值的剔除和插补。

先介绍异常值的剔除。异常值的剔除方法有很多种，在此实现很多论文中提到过的所谓的IQR准则。

理论基础：

（摘自《区域CORS站坐标时间序列特征分析》硕士论文）

代码实现：

 1  N1=N(1:337);
 2  Q1=prctile(N1,25);  3  Q2=prctile(N1,75);
 4  R=iqr(N1);
 5  num = find(N<Q1-1.5*R | N>Q2+1.5*R)
 6
 7 %1、根据多篇文献的经验，窗长选取为1年（在这里选了从1到337个数
 8 %据），N为6年的数据
 9 %2、Q1为上四分位数
10 %3、Q2为下四分位数
11 %4、R为四分位数的极差，其实R也等于Q2-Q1
12 %5、求取异常值，num为包含异常值的向量
13 %6、从以上代码基础上剔除异常值，比如，num = [1 2 3]，则
14 %输入代码：
15 N1(N1 == 1 | N1 == 2 | N1 ==3) = [];
16 % 解释：逻辑与（或）|和||表达意思是一样的，只不过|应用范围更广一些
17 % 以上代码表示把N1中的值为num的那些元素剔除掉。

--------------------------------------------------------------------补充---------------------------------------------------------------

注意：上述步骤有些问题，摘自硕士论文的最后两句抹去，应该是对最后的噪声进行异常值的去除而不是对原始时间序列。

IQR是在时间序列为标准正态分布的前提下，是以标准正态分布为基础的。

所以以上对于gps原始时间序列，如果没有进行公式拟合、去趋势化之后是不适用于IQR准则的。

在趋势化之后得到的噪声才适用于本准则。

转载于:https://www.cnblogs.com/gzl0928/p/8707276.html

Matlab IQR准则剔除异常值相关推荐

用格布拉斯准则剔除异常值，求不确定度
用格布拉斯准则剔除异常值,求不确定度 x=[0.665 0.666 0.678 0.698 0.600 0.661 0.672 0.664]; %输入数据 alpha=0.05; %输入显著性水平%% ...
数据分析系列之3σ规则/依据拉依达准则来剔除异常值
1 相关原理 3σ原则为数值分布在(μ-σ,μ+σ)中的概率为0.6827 数值分布在(μ-2σ,μ+2σ)中的概率为0.9545 数值分布在(μ-3σ,μ+3σ)中的概率为0.9973 可以认为, ...
matlab拉依达法,Matlab笔记——数据预处理(1)——剔除异常值及平滑处理012
测量数据在其采集与传输过程中,由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失,这种数据称为异常值.为了恢复数据的客观真实性以便将来得到更好的分析结果,有必要先对原始数据(1)剔除异常值: ...
数据建模中利用3σ剔除异常值进行数据清洗
方法原理: 3σ准则又称为拉依达准则,它是先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数 ...
Median Absolute Deviation(MAD，绝对中位差)和3sigma准则剔除粗差方法对比（代码）
根据文献: Klos A, Bogusz J, Figurski M, Kosek W (2016) On the handling of outliers in the GNSS time seri ...
拉依达准则剔除数据异常
/// <summary> /// 拉依达准则剔除数据异常 /// </summary> public class DataExceptionHelpe ...
MATLAB箱型图异常值/离群值处理（箱型图红色加号）
MATLAB箱型图异常值/离群值处理(箱型图红色加号) 博主针对污染物小时浓度值绘制了年变化的箱型图,出现了大片的较高"异常值",其实是一些高污染事件,并不属于"异常值& ...
java中算术异常值_依据拉依达准则来剔除异常值程序
java源码在下,在main主方法里的data数组里输入要测量的数据(个数长度>=10个),会判断里面有误异常值,如果有则警告 /** * @author 廖启安 * @data 2018年4月 ...
Matlab最小二乘法：线性最小二乘、加权线性最小二乘、稳健最小二乘、非线性最小二乘与剔除异常值效果比较
最近我们被客户要求撰写关于最小二乘法的研究报告,包括一些图形和统计输出.matlab软件在拟合数据时使用最小二乘法.拟合需要一个参数模型,该模型将因变量数据与具有一个或多个系数的预测数据相关联.拟合过 ...
JAVA使用：3σ规则、依据拉依达准则来剔除异常值程序
3σ原则为数值分布在(μ-σ,μ+σ)中的概率为0.6827 数值分布在(μ-2σ,μ+2σ)中的概率为0.9545 数值分布在(μ-3σ,μ+3σ)中的概率为0.9973 可以认为,Y 的取值几乎 ...

Matlab IQR准则剔除异常值

Matlab IQR准则剔除异常值相关推荐

最新文章

热门文章