预处理阶段

预处理阶段主要做两件事情：
一是将数据导入处理工具。
二是看数据。包含两个部分：一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息；二是抽取一部分数据，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备。

第一步：缺失值清洗

四个步骤：
1、确定缺失值范围：对每个字段都计算其缺失值比例，然后按照缺失比例和字段重要性，分别制定策略。

2、去除不需要的字段：直接删掉即可……但强烈建议清洗每做一步都备份一下，或者在小规模数据上试验成功再处理全量数据，不然删错了会追悔莫及（多说一句，写SQL的时候delete一定要配where！）。
3、填充缺失内容：某些缺失值可以进行填充，方法有以下三种：
以业务知识或经验推测填充缺失值
以同一指标的计算结果（均值、中位数、众数等）填充缺失值
以不同指标的计算结果填充缺失值
4、重新取数：如果某些指标非常重要又缺失率高，那就需要和业务人员了解，是否有其他渠道可以取到相关数据。

第二步：格式内容清洗

格式内容问题有以下几类：
1、时间、日期、数值、全半角等显示格式不一致
解决方法：将其处理成一致的某种格式。
2、内容中有不该存在的字符
某些内容可能只包括一部分字符，比如身份证号是数字+字母。最典型的就是头、尾、中间的空格，也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符。
3、内容与该字段应有内容不符
姓名写了性别，身份证号写了手机号等等，均属这种问题。但该问题特殊性在于：并不能简单的以删除来处理，因为成因有可能是人工填写错误，也有可能是前端没有校验，还有可能是导入数据时部分或全部存在列没有对齐的问题，因此要详细识别问题类型。

格式内容问题是比较细节的问题，但很多分析失误都是栽在这个坑上，比如跨表关联或VLOOKUP失败（多个空格导致工具认为“陈丹奕”和“陈丹奕”不是一个人）、统计值不全（数字里掺个字母当然求和时结果有问题）、模型输出失败或效果不好（数据对错列了，把日期和年龄混了，so……）。

第三步：逻辑错误清洗

这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据，防止分析结果走偏。主要包含以下几个步骤：
1、去重
强烈建议把去重放在格式内容清洗之后（多个空格导致工具认为“陈丹奕”和“陈丹奕”不是一个人，去重失败）。并不是所有的重复都能这么简单的去掉……
2、去除不合理值
举例：年龄200岁，年收入100000万（估计是没看见”万“字），这种的就要么删掉，要么按缺失值处理。这种值如何发现？提示：可用但不限于箱形图（Box-plot）。
3、修正矛盾内容
需要根据字段的数据来源，来判定哪个字段提供的信息更为可靠，去除或重构不可靠的字段。有些字段是可以互相验证的，举例：身份证号是1101031980XXXXXXXX，然后年龄填18岁。

并非所有问题都能够一次找出，我们能做的是使用工具和方法，尽量减少问题出现的可能性，使分析过程更为高效。

第四步：非需求数据清洗

把不要的字段删了。
但是也有很多问题，例如：

1.把看上去不需要但实际上对业务很重要的字段删了；
2.某个字段觉得有用，但又没想好怎么用，不知道是否该删；
3.一时看走眼，删错字段了。
前两种情况建议是：如果数据量没有大到不删字段就没办法处理的程度，那么能不删的字段尽量不删。第三种情况，请勤备份数据……

第五步：关联性验证

如果你的数据有多个来源，那么有必要进行关联性验证。例如，你有汽车的线下购买信息，也有电话客服问卷信息，两者通过姓名和手机号关联，那么要看一下，同一个人线下登记的车辆信息和线上问卷问出来的车辆信息是不是同一辆，如果不是（业务流程设计不好是有可能出现这种问题的！），那么需要调整或去除数据。

严格意义上来说，这已经脱离数据清洗的范畴了，而且关联数据变动在数据库模型中就应该涉及。但是，多个来源的数据整合是非常复杂的工作，一定要注意数据之间的关联性，尽量在分析过程中不要出现数据之间互相矛盾，而你却毫无察觉的情况。

【数据清洗】数据清洗流程及经验相关推荐

SCI论文怎么投，投稿流程和经验分享一文了解
一篇SCI的成型过程--设计实验,完成实验,整理数据,撰写文章,选择杂志,投稿.那么SCI论文怎么投呢?一文了解SCI论文投稿流程和经验分享. 一.投稿流程 1.Submitted to Journa ...
北京航空航天大学软件学院2021年保研复试流程介绍+经验分享
北航软院2021年保研复试流程介绍+经验分享我是北航软院2018级的本科学生,有幸获得了保研的名额,并且参加了本系的保研复试,现在简单地介绍一下复试的流程和一些复试的经验,希望对学弟学妹有所帮助~ ...
华为LTC销售流程变革经验分享：流程管理的评估指标和评估方法--华为BPR专家许浩明老师分享
华为LTC销售流程变革经验分享:流程管理的评估指标和评估方法–华为BPR专家许浩明老师分享企业间的竞争就是管理的竞争!而流程.组织.IT是管理的核心要素,如何构建面向客户,以客户为中心的端到端.结构 ...
LTC流程变革经验详细介绍！华为系智谋帮咨询辅导双登集团LTC变革及基于LTC的营销拓展能力提升！
LTC流程变革经验详细介绍!华为系智谋帮咨询辅导双登集团LTC变革及基于LTC的营销拓展能力提升! 上市公司双登集团邀请北京大学毕业深厚华为背景LTC专家许浩明老师辅导其<LTC流程变革及基于L ...
Python数据清洗基本流程
# -*- coding: utf-8 -*- """ Created on Wed Jul 4 18:40:55 2018 @author: zhen "&q ...
信用社面试计算机流程,农村信用社面试流程及经验
农村信用社面试流程较为严格同时考察了面试者的仪表.举止.风度和精神状态,对面试者无论是专业素质还是综合素质都有较高的要求,为了帮助面试者积极应对面试,提高面试通过几率,新东方在线给大家介绍一下农村信用 ...
中国码农在硅谷：求职流程与经验分享
本场 Chat 主要介绍北美求职流程与趋势. 硅谷面试流程硅谷最受欢迎的公司与职业硅谷 offer 能给多少 & 生活成本有多大如何拿到面试以作者最近求职经验为例,介绍微软.Faceb ...
字节程序媛：大厂技术岗求职流程解读经验分享，这是一份保姆级校招攻略
文章目录写在前面流程解读简历投递笔试(仅校招) 面试发Offer 写在最后写在前面阳春三月,春暖花开.更重要的是- 一年一度的春招季他来啦!作为校招的两大关键节点之一,春招是应届生去争取 ...
【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南
本篇博客为大家系统全面的介绍华为 od 机试所有内容,其包括如下知识点. 华为 od 机试题目华为 od 机试流程华为 od 机试题型分析华为 od 机试经验分享华为 od 机试常见问题解答 ...

【数据清洗】数据清洗流程及经验