【脏数据】什么是脏数据：脏数据的种类、类型

什么是“脏”数据？通俗来说，它是因数据重复录入、共同处理等不规范操作而产生的混乱、无效数据。这些数据不能为企业带来价值，反而会占据存储空间，浪费企业的资源。因此，这些数据被称为“脏”数据，不仅没有价值，还会“污染”其他的数据。

某些“脏”数据还可能给企业带来重大损失。曾经有一家保险公司，把客户的资料存储在数据库中，并进行了如下规定：在存入新的数据之前，要对数据库进行检索，以查看其中是否存在相关记录。

然而，一些数据员偷懒，擅自跳过搜索环节，直接存入了新的数据，导致数据的重复录入。久而久之，系统运行越来越缓慢，搜索结果越来越不准确，最终数据库完全失灵，给公司造成巨大的经济损失。这个时候，保险公司才如梦初醒，决定解决这个问题。公司花费了一个星期的时间，将这些积存在数据库中的“脏”数据全部清除。

当数据出现问题的时候，苦心构建的数据库就失去了原有价值。正因如此，处理“脏”数据的工作就变得十分重要，而且越早开始越好。因此，我们有必要了解一下“脏”数据的种类。

1.缺失数据

导致数据缺失的原因有很多种，例如系统问题、人为问题等。假如出现了数据缺失情况，为了不影响数据分析结果的准确性，在数据分析时就需要进行补值，或者将空值排除在分析范围之外。

排除空值会减少数据分析的样本总量，这个时候可以选择性地纳入一些平均数、比例随机数等。若系统中还留有缺失数据的相关记录，可以通过系统再次引入，若系统中也没有这些数据记录，就只能通过补录或者直接放弃这部分数据来解决。

2.重复数据

相同的数据出现多次的情况相对而言更容易处理，因为只需要去除重复数据即可。但假如数据出现不完全重复的情况，例如某酒店VIP会员数据中，除了住址、姓名不一样，其余的大多数数据都是一样的，这种重复数据的处理就比较麻烦了。假如数据中有时间、日期，仍然可以以此作为判断标准来解决，但假如没有时间、日期这些数据，就只能通过人工筛选来处理。

3.错误数据

错误数据一般是因为数据没有按照规定程序进行记录而出现的。例如异常值，某个产品价格为1到100元，而统计中偏偏出现200这个值；例如格式错误，将文字录成了日期格式；例如数据不统一，关于天津的记录有天津、tianjin。

对于异常值，可以通过限定区间的方法进行排除；对于格式错误，需要通过系统内部逻辑结构进行查找；对于数据不统一，无法从系统方面去解决，因为它并不属于真正的“错误”，系统并不能判断出天津和tianjin属于同一“事物”，因此只能通过人工干预的方法，做出匹配规则，用规则表去关联原始表。例如，一旦出现tianjin这个数据就直接匹配到天津。

4.不可用数据

有些数据虽然正确但却无法使用。例如地址为“上海浦东新区”，想要对“区”级别的数据进行分析时，还需要将“浦东”拆出来。这种情况的解决方案只能用关键词匹配的方法，而且不一定能够得到完美解决。

转载原文