数据挖掘中常用的数据清洗方法有哪些？

原文来自：https://www.zhihu.com/question/22077960/answer/24095218

从两个角度上看，数据清洗一是为了解决数据质量问题，二是让数据更适合做挖掘。不同的目的下分不同的情况，也都有相应的解决方式和方法。在此简略描述一下，若有错误，请指出，不胜感激！

解决数据质量问题

解决数据的各种问题，包括但不限于：

数据的完整性----例如人的属性中缺少性别、籍贯、年龄等

数据的唯一性----例如不同来源的数据出现重复的情况

数据的权威性----例如同一个指标出现多个来源的数据，且数值不一样

数据的合法性----例如获取的数据与常识不符，年龄大于150岁

数据的一致性----例如不同来源的不同指标，实际内涵是一样的，或是同一指标内涵不一致

数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。

那么为了解决以上的各种问题，我们需要不同的手段和方法来一一处理。

每种问题都有各种情况，每种情况适用不同的处理方法，具体如下：

解决数据的完整性问题：
解题思路：数据缺失，那么补上就好了。
补数据有什么方法？
通过其他信息补全，例如使用身份证件号码推算性别、籍贯、出生日期、年龄等
通过前后数据补全，例如时间序列缺数据了，可以使用前后的均值，缺的多了，可以使用平滑等处理，记得Matlab还是什么工具可以自动补全
实在补不全的，虽然很可惜，但也必须要剔除。但是不要删掉，没准以后可以用得上

解决数据的唯一性问题：
解题思路：去除重复记录，只保留一条。
去重的方法有：
按主键去重，用sql或者excel“去除重复记录”即可，
按规则去重，编写一系列的规则，对重复情况复杂的数据进行去重。例如不同渠道来的客户数据，可以通过相同的关键信息进行匹配，合并去重。

解决数据的权威性问题：
解题思路：用最权威的那个渠道的数据
方法:
对不同渠道设定权威级别，例如：在家里，首先得相信媳妇说的。。。

解决数据的合法性问题：
解题思路：设定判定规则
设定强制合法规则，凡是不在此规则范围内的，强制设为最大值，或者判为无效，剔除
字段类型合法规则：日期字段格式为“2010-10-10”
字段内容合法规则：性别 in （男、女、未知）；出生日期<=今天
设定警告规则，凡是不在此规则范围内的，进行警告，然后人工处理
警告规则：年龄》110
离群值人工特殊处理，使用分箱、聚类、回归、等方式发现离群值

解决数据的一致性问题:
解题思路：建立数据体系，包含但不限于：
指标体系（度量）
维度（分组、统计口径）
单位
频度
数据

让数据更适合做挖掘或展示

目标包括但不限于：

高维度----不适合挖掘

维度太低----不适合挖掘

无关信息----减少存储

字段冗余----一个字段是其他字段计算出来的，会造成相关系数为1或者主成因分析异常）

多指标数值、单位不同----如GDP与城镇居民人均收入数值相差过大

解决高维度问题:
解题思路：降维，方法包括但不限于：
主成分分析
随机森林

解决维度低或缺少维度问题：
解题思路：抽象，方法包括但不限于：
各种汇总，平均、加总、最大、最小等
各种离散化，聚类、自定义分组等

解决无关信息和字段冗余：
解决方法：剔除字段

解决多指标数值、单位不同问题：
解决方法：归一化，方法包括但不限于：
最小-最大
零-均值
小数定标

数据挖掘中常用的数据清洗方法有哪些？相关推荐

光滑噪声数据常用的方法_数据挖掘中常用的数据清洗方法
是新朋友吗?记得先点蓝字关注我哦- 数据挖掘中常用的数据清洗方法在数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理,分别是缺失值(missing va ...
光滑噪声数据常用的方法_数据挖掘中常用的数据清洗方法有哪些？
数据清洗是将重复.多余的数据筛选清除,将缺失的数据补充完整,将错误的数据纠正或者删除,最后整理成为我们可以进一步加工.使用的数据. 所谓的数据清洗,也就是ETL处理,包含抽取Extract.转换Tra ...
机器学习-数据挖掘中常用的数据清洗方法
转自:https://blog.csdn.net/jiazericky/article/details/80322225 在数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四 ...
数据挖掘中常用的数据清洗方法
在数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理:分别是缺失值(missing value),异常值(离群点),去重处理(Duplicate Data) ...
统计计量 | 统计学中常用的数据分析方法汇总
来源:数据Seminar本文约10500字,建议阅读15+分钟统计学中常用的数据分析方法汇总. Part1描述统计描述统计是通过图表或数学方法,对数据资料进行整理.分析,并对数据的分布状态.数字特 ...
使用python进行数据清洗常用的库_python3常用的数据清洗方法(小结)
首先载入各种包: import pandas as pd import numpy as np from collections import Counter from sklearn import ...
Python常用的数据清洗方法
Python常用的数据清洗方法在数据处理的过程中,一般都需要进行数据的清洗工作,如数据集是否存在重复.是否存在缺失.数据是否具有完整性和一致性.数据中是否存在异常值等.当发现数据中存在如上可能的问题 ...
Python数据清洗 | 常用的数据清洗方法
常用的数据清洗方法本文首发于微信公众号<Python希望社>,欢迎关注,完整详细的原文链接请点击这里在数据处理的过程中,一般都需要进行数据的清洗工作,如数据集是否存在重复.是否存在确实 ...
常用的数据清洗方法学习笔记（全面、完整）
常用的数据清洗方法在数据处理过程中,一般都需要进行数据的处理工作,如数据集是否存在重复.是否存在缺失.数据是否具有一定的完整性和一致性.数据中是否存在异常值等,当发现数据中可能存在上述问题时,都需要 ...

数据挖掘中常用的数据清洗方法有哪些？

数据挖掘中常用的数据清洗方法有哪些？相关推荐

最新文章

热门文章