使用3σ准则对java列表中的数据进行清洗

在开发中会遇到一个List中的个别数据明显的脏数据，比如一组数据为[1,2,8,10,8,5,2,4,6,11,15,1,2,8,10,8,5,2,4,6,11,15,1000,1000]

这里的1000为脏数据，使用3σ准则进行数据清洗

这里我们需要使用apache.commons.math3包

        <dependency><groupId>org.apache.commons</groupId><artifactId>commons-math3</artifactId><version>3.6.1</version></dependency>

在程序代码中引用

import org.apache.commons.math3.stat.StatUtils;
import org.apache.commons.math3.stat.descriptive.moment.StandardDeviation;
import org.apache.commons.math3.stat.descriptive.rank.Median;import com.alibaba.fastjson.JSON;

代码为：

 /*** @Author zhongkai* @Date  2021/2/20 16:31* @Description 3σ准则过滤**/public static List<Double> sigma3Filter(List<Double> data){List<Double> returnList= new ArrayList<>(data);double[] dataA = new double[data.size()];for (int i=0;i<data.size();i++){dataA[i]=data.get(i);}List<Double> outliersList = sigma(dataA,dataA,3);for (double vo:outliersList){if (returnList.contains(vo)){returnList.remove(vo);}}return returnList;}/*** @Author zhongkai* @Date  2021/2/20 14:31* @Description x sigema准则计算* @param data 原始数据数组* @param arr 需要对比的数据数组* @param x sigema的个数 一般使用3σ则x=3 样本数量一般要大于等于30个**/public static List<Double> sigma(double[] data,double[] arr, int x){double avg = StatUtils.mean(data);System.out.println("算数平均值μ："+avg );//算数平均值StandardDeviation standardDeviation =new StandardDeviation();double stDev = standardDeviation.evaluate(data);System.out.println("标准差σ为：" + stDev);List<Double> outliersList=new ArrayList<>();for (double vo:arr){//判断异常值方法if(Math.abs(vo-avg)>(x*stDev)) {outliersList.add(vo);System.out.println("使用"+x+"σ准则进行过滤，该数组中的"+vo+"属于异常值!");}}return outliersList;}

调用：

    public static void main(String[] args) {double[] data =new double[] {1,2,8,10,8,5,2,4,6,11,15,1,2,8,10,8,5,2,4,6,11,15,1000,1000};//原始数组List<Double> dataList=new ArrayList<>();for (double vo:data){dataList.add(vo);}List<Double> outliersList = sigma3Filter(dataList);System.out.println(JSON.toJSONString(outliersList));}

建议：使用3σ准则过滤时，样本数量最好大于30

使用3σ准则对java列表中的数据进行清洗相关推荐

pandas使用query函数查询dataframe指定数据列的内容（数值）不包含在特定列表中的数据行（not contain in list)
pandas使用query函数查询dataframe指定数据列的内容(数值)不包含在特定列表中的数据行(select rows which column values are not containe ...
pandas使用query函数查询dataframe指定数据列的内容（数值）包含在特定列表中的数据行（select rows which column values contain in list)
pandas使用query函数查询dataframe指定数据列的内容(数值)包含在特定列表中的数据行(select rows which column values contained in a li ...
如何向列表中添加数据值（管理员篇）
如何向列表中插入数据?这是一个很简单的问题.那么我的这两篇文章主要是对各种方法的总结,如果有朋友有不同的意见,请指正. 首先,我们来看一下列表(自定义列表,列表名称:Jobs). 列名类型注释 T ...
android 在自定义的listview（有刷新加载项）列表中，数据过少时不能铺满整个屏幕时，header和footer同时显示问题...
android 在自定义的listview(有刷新加载项)列表中,数据过少时,当刷新时,加载项也会显示,这是很头疼的一个问题,查阅了一些资料,总结了一个比较不错的方法: 原来代码: 1 @Overr ...
java 缓冲区中的数据存入缓冲区中_java8中NIO缓冲区（Buffer）的数据存储详解|chu...
java8新特性NIO缓冲区(Buffer)的数据存储. ByteBuffer,CharBuffer,ShortBuffer,IntBuffer,LongBuffer,FloatBuffer, Dou ...
python如何从列表中提取数据_Python 从列表中取值和取索引的方法
如下所示: name_list["zhangsan","lisi","wangwu"] #1.取值 print(name_list[0]) ...
java for 获取索引_获取Java列表中的对象索引
我的(Android)Java程序中有一个字符串列表,我需要获取列表中对象的索引.问题是,我只能找到有关如何查找对象的第一个和最后一个索引的文档.如果我的列表中有3个或更多相同的对象怎么办?我怎样才能 ...
java 护照校验,Java应用中的数据校验
翻译:叩丁狼教育吴嘉俊 [译者注:这篇文章是开源项目CUBA Platform的作者,在这篇文章中,作者阐述了CUBA平台中关于数据校验的设计思想和使用方式,可以作为大家在设计数据校验方面一个比较好的 ...
解析列表中的数据python_将html数据解析成python列表进行操作
我会采取完全不同的方法.我们使用LXML来抓取html页面我们切换的原因之一是因为BS有一段时间没有被维护,或者我应该说是更新了.在在我的测试中,我运行了以下内容import requests f ...

使用3σ准则对java列表中的数据进行清洗

调用：

建议：使用3σ准则过滤时，样本数量最好大于30

使用3σ准则对java列表中的数据进行清洗相关推荐

最新文章

热门文章