beanutils.copyproperties属性值丢失_数据质量 | 脏数据？缺失值、异常值和一致性分析？...
导读：数据质量是数据仓库核心一环，也是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。没有可信的数据，数据仓库形同虚设，数据挖掘构建的模型将是空中楼阁。
数据质量分析的主要任务是检查原始数据中是否存在脏数据。脏数据一般是指不符合要求以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据包括：缺失值、异常值、不一致的值、重复数据及含有特殊符号(如#、￥、*)的数据。
本文将主要对数据中的缺失值、异常值和一致性进行分析。
作者：张良均 谭立云 刘名军 江建明来源：大数据DT(ID：hzdashuju)
01 缺失值分析数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果不准确。下面从缺失值产生的原因及影响等方面展开分析。1. 缺失值产生的原因缺失值产生的原因主要有以下3点：
- 有些信息暂时无法获取，或者获取信息的代价太大。
- 有些信息是被遗漏的。可能是因为输入时认为该信息不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备故障、存储介质故障、传输媒体故障等非人为原因而丢失。
- 属性值不存在。在某些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。
2. 缺失值的影响缺失值会产生以下的影响：
- 数据挖掘建模将丢失大量的有用信息。
- 数据挖掘模型所表现出的不确定性更加显著，模型中蕴含的规律更难把握。
- 包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。
3. 缺失值的分析对缺失值的分析主要从以下两方面进行：
- 使用简单的统计分析，可以得到含有缺失值的属性的个数以及每个属性的未缺失数、缺失数与缺失率等。
- 对于缺失值的处理，从总体上来说分为删除存在缺失值的记录、对可能值进行插补和不处理3种情况。
02 异常值分析异常值分析是检验数据是否有录入错误，是否含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地将异常值放入数据的计算分析过程中，会对结果造成不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。异常值是指样本中的个别值，其数值明显偏离其他的观测值。异常值也称为离群点，异常值分析也称为离群点分析。1. 简单统计量分析在进行异常值分析时，可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理范围。如客户年龄的最大值为199岁，则判断该变量的取值存在异常。2. 3σ原则如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为P(|x-μ|>3σ)≤0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的标准差倍数来描述。3. 箱型图分析箱型图提供了识别异常值的一个标准：异常值通常被定义为小于QL -1.5IQR或大于QU +1.5IQR的值。
- QL称为下四分位数，表示全部观察值中有四分之一的数据取值比它小；
- QU称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；
- IQR称为四分位数间距，是上四分位数QU与下四分位数QL之差，其间包含了全部观察值的一半。
箱型图依据实际数据绘制，对数据没有任何限制性要求，如服从某种特定的分布形式，它只是真实直观地表现数据分布的本来面貌；另一方面，箱型图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性：多达25%的数据可以变得任意远而不会严重扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱型图识别异常值的结果比较客观，在识别异常值方面有一定的优越性，如图3-1所示。
▲图3-1 箱型图检测异常值餐饮系统中的销量数据可能出现缺失值和异常值，例如表3-1中数据所示。
▲表3-1 餐饮日销额数据示例分析餐饮系统日销额数据可以发现，其中有部分数据是缺失的，但是如果数据记录和属性较多，使用人工分辨的方法就不切实际，所以这里需要编写程序来检测出含有缺失值的记录和属性以及缺失率个数和缺失率等。在Python的pandas库中，只需要读入数据，然后使用describe()方法即可查看数据的基本情况，如代码清单3-1所示。
- 代码清单3-1 使用describe()方法查看数据的基本情况
import pandas 代码清单3-1的运行结果如下：
销量count 200.000000mean 2755.214700std 751.029772min 22.00000025% 2451.97500050% 2655.85000075% 3026.125000max 9106.440000其中count是非空值数，通过len(data)可以知道数据记录为201条，因此缺失值数为1。另外，提供的基本参数还有平均值(mean)、标准差(std)、最小值(min)、最大值(max)以及1/4、1/2、3/4分位数(25%、50%、75%)。更直观地展示这些数据并且可以检测异常值的方法是使用箱型图。其Python检测代码如代码清单3-2所示。
- 代码清单3-2 餐饮日销额数据异常值检测
import matplotlib.pyplot 运行代码清单3-2，可以得到图3-2所示的箱型图。
▲图3-2 异常值检测箱型图从图3-2可以看出，箱型图中超过上下界的7个日销售额数据可能为异常值。结合具体业务可以把865.0、4060.3、4065.2归为正常值，将22.0、51.0、60.0、6607.4、9106.44归为异常值。最后确定过滤规则为日销额在400元以下或5000元以上则属于异常数据，编写过滤程序，进行后续处理。03 一致性分析数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。在数据挖掘过程中，不一致数据的产生主要发生在数据集成的过程中，可能是由于被挖掘数据来自于不同的数据源、对于重复存放的数据未能进行一致性更新造成的。例如，两张表中都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表中的数据，那么这两张表中就有了不一致的数据。关于作者：张良均，资深大数据挖掘与分析专家、模式识别专家、AI技术专家。有10余年大数据挖掘与分析经验，擅长Python、R、Hadoop、Matlab等技术实现的数据挖掘与分析，对机器学习等AI技术驱动的数据分析也有深入研究。本文摘编自《Python数据分析与挖掘实战》(第2版)，经出版方授权发布。延伸阅读《Python数据分析与挖掘实战》点击上图了解及购买推荐语：畅销书全新升级，第1版销售超过10万册，被国内100余所高等院校采用为教材，同时被广大数据科学工作者奉为经典，是该领域公认的事实标准。作者在大数据挖掘与分析等领域有10余年的工程实践、教学和创办企业的经验，不仅掌握行业的最新技术和实践方法，而且洞悉学生和老师的需求与痛点。划重点
beanutils.copyproperties属性值丢失_数据质量 | 脏数据？缺失值、异常值和一致性分析？...相关推荐
- beanutils.copyproperties属性值丢失_[ASP.NET Core 3.1]浏览器嗅探解决部分浏览器丢失Cookie问...
今天的干货长驱直入,直奔主题 看了前文的同学们应该都知道,搜狗.360等浏览器在单点登录中反复重定向,最终失败报错. 原因在于,非Chrome80+浏览器不识别Cookie上的SameSite=non ...
- 生活质量衡量系统_数据质量与数据质量八个维度指标
数据质量与数据质量八个维度指标 数据的质量直接影响着数据的价值,并且直接影响着数据分析的结果以及我们以此做出的决策的质量.质量不高的数据不仅仅是数据本身的问题,还会影响着企业经营管理决策:错误的数据还 ...
- 箱式图 添加异常值平均值_什么是脏数据？怎样用箱形图分析异常值？终于有人讲明白了...
导读:数据质量分析是数据挖掘中数据准备过程的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础.没有可信的数据,数据挖掘构建的模型将是空中楼阁. 数据质量分析的主要任务是检查原始数 ...
- 数据质量在数据资产评估中有着怎样的作用？
文章摘自6月11日,华矩科技数据治理系列讲座活动第四期谭海华先生带来的分享. 今天我想跟各位交流一下这个话题,来讲一讲我的理解.主要分为以下几个部分: 首先,谈谈数据资产的理解,我想这个问题还是有不同 ...
- 事务（ACID）、并发一致性问题（丢失修改、读脏数据、不可重复读、幻影读）、封锁（封锁粒度、类型、协议、MySQL 隐式与显示锁定）
1. 事务 1.1 概念 事务指的是满足 ACID 特性的一组操作,可以通过 Commit 提交一个事务,也可以使用 Rollback 进行回滚. 1.2 ACID 1.2.1 原子性(Atomic ...
- 计算机视觉：从数据量、数据质量、数据复杂度、数据隐私介绍图片数据处理难度
本文重点 计算机视觉是一门研究如何让计算机处理和理解图像的学科,其应用范围非常广泛,包括图像识别.目标检测.人脸识别.车辆识别.医学图像处理等.在计算机视觉领域中,图片数据的处理是非常重要的一环,但也 ...
- 时间序列模式识别_空气质量传感器数据的时间序列模式识别
时间序列模式识别 · 1. Introduction· 2. Exploratory Data Analysis ∘ 2.1 Pattern Changes ∘ 2.2 Correlation Bet ...
- arcgis表转excel一直失败_Excel表转换为shp格式时属性值丢失问题
早前在网上扒拉一些数据,放到excel中进行加工,然后加载到arcgis中,生成点要素,然后转为shp格式文件.但是在此过程中遇到了一些小问题,有些字段的信息在转换过程中会丢失.一开始我以为是我的ex ...
- ph值图片_螃蟹养殖大数据——高温季节的pH值过高，不适宜养殖螃蟹？未必
养蟹先养水,水好螃蟹大.随着5G的到来,物联网时代正式开启了.在物联网时代养殖如果凭肉眼我们很难判断水质的好坏,其风险是不言而喻的.因此,我们与帮邦水产合作,利用帮邦魔盒的物联网水质检测设备获得的 ...
- 超链接的目标属性值意义_在超链接中，如果暂时没有确定链接目标，通常将标记的href属性值定义为“*”。：...
问题:在超链接中,如果暂时没有确定链接目标,通常将标记的href属性值定义为"*".: 更多相关问题 管道内的照明通信系统应采用().A.220V电压B.安全电压C.110V电压D ...
最新文章
- vue 巧用过渡效果
- Android Studio的Gradle常用命令配置和依赖管理
- vue-cli 3.0 跨域请求代理
- 我的专业博客启动了！
- labview在2048中添加时间滚动条_Chrome优化深色模式：滚动条颜色也能跟随变化 使上网更具沉浸感...
- Java8 Stream详解~排序：sorted
- SharedPreferences详解
- AIX6.1平台11.2.0.3RAC 实施手册
- ospf避免环路_13、OSPF的选路规则及路由控制
- Java程序调用linux脚本-简单版
- 结合eXeScope打造个性flash发布后的应用程序exe文件
- Windows通用文件关联错误恢复
- 计算机网络技术摘要,计算机网络技术应用和发展
- 雷达干扰技术（四）雷达信号处理
- 程序员需要知道的97件事情之 ------- 谋定而后动
- 清华大学四连冠，南科大获得最高性能奖！国际大学生超算竞赛SC21结果出炉
- 2021新年喜庆音乐中国风背景音乐素材共39首第二辑合集下载
- win10 如何修改 C:\Users\用户名文件夹
- 关于电影《暗杀》背后的故事和想法
- Calander用例