数据预处理阶段“不处理”缺失值的思路

在数据预处理阶段，对于具有缺失值的数据记录不做任何处理，也
是一种思路。这种思路主要看后期的数据分析和建模应用，很多模型对
于缺失值有容忍度或灵活的处理方法，因此在预处理阶段可以不做处
理。常见的能够自动处理缺失值的模型包括：KNN、决策树和随机森
林、神经网络和朴素贝叶斯、DBSCAN（基于密度的带有噪声的空间聚
类）等。这些模型对于缺失值的处理思路是：
·忽略，缺失值不参与距离计算，例如KNN。
·将缺失值作为分布的一种状态，并参与到建模过程，例如各种决
策树及其变体。
·不基于距离做计算，因此基于值的距离做计算，本身的影响就消
除，例如DBSCAN。

在数据建模前的数据归约阶段，有一种归约的思路是降维，
降维中又有一种直接选择特征的方法。假如我们通过一定方法确定带有
缺失值（无论缺少字段的值缺失数量有多少）的字段对于模型的影响非
常小，那么我们根本就不需要对缺失值进行处理。因此，后期建模时对
字段或特征的重要性判断也是决定是否处理字段缺失值的重要参考因素
之一。

对于缺失值的处理思路是先通过一定方法找到缺失值，接着分析缺
失值在整体样本中的分布占比以及缺失值是否具有显著的无规律分布特
征，然后考虑后续要使用的模型中是否能满足缺失值的自动处理，最后
决定采用哪种缺失值处理方法。在选择处理方法时，注意投入的时间、
精力和产出价值，毕竟，处理缺失值只是整个数据工作的冰山一角而
已。

在数据采集时，可在采集端针对各个字段设置一个默认
值。以MySQL为例，在设计数据库表时，可通过default指定每个字段的
默认值，该值必须是常数。在这种情况下，假如原本数据采集时没有采
集到数据，字段的值应该为Null，但由于在建立库表时设置了默认值，
这会导致“缺失值”看起来非常正常，但本质上还是缺失的。对于这类数
据需要尤其注意。

数据预处理阶段“不处理”缺失值的思路相关推荐

eviews如何处理缺失数据填补_python数据预处理之异常值、缺失值处理方法
数据预处理是明确分析目标与思路之后进行数据分析的第一步,也是整个项目中最基础.花费时间较长的工作.除了互联网埋点的数据或企业内部的业务数据之外,往往我们拿到的,比如说网上采集的数据并不是那样规整,这类 ...
pandas用众数填充缺失值_【机器学习】scikit-learn中的数据预处理小结(归一化、缺失值填充、离散特征编码、连续值分箱)...
一.概述 1. 数据预处理数据预处理是从数据中检测,修改或删除不准确或不适用于模型的记录的过程可能面对的问题有:数据类型不同,比如有的是文字,有的是数字,有的含时间序列,有的连续,有的间断. 也可 ...
数据预处理相关Demo（缺失值、均值方差标准化、极差法归一化、主成分分析)
1 缺失值处理 1.1 pandas中利用fillna()函数通过fillna()方法,可以去掉数据集中的空值(nan值). # 数据生成 import pandas as pd import nu ...
【建议收藏】机器学习数据预处理（一）——缺失值处理方法（内附代码）
数据预处理——4种缺失值处理方法
1.删除含有缺失值的个案主要有简单删除法和权重法.简单删除法是对缺失值进行处理的最原始方法.它将存在缺失值的个案删除.如果数据缺失问题可以通过简单的删除小部分样本来达到目标,那么这个方法是最有效的. ...
python填补缺失值数据驱动代码_python数据预处理之缺失值的各种填补方式
对于数据挖掘的缺失值的处理,应该是在数据预处理阶段应该首先完成的事,缺失值的处理一般情况下有三种方式: (1)删掉缺失值数据 (2)不对其进行处理 (3)利用插补法对数据进行补充第一种方式是极为不可 ...
python填补缺失值数据驱动代码_python填补缺失值数据驱动代码_python数据预处理之缺失值的各种填补方式...
对于数据挖掘的缺失值的处理,应该是在数据预处理阶段应该首先完成的事,缺失值的处理一般情况下有三种方式: (1)删掉缺失值数据 (2)不对其进行处理 (3)利用插补法对数据进行补充第一种方式是极为不可 ...
python数据预处理之缺失值的各种填补方式
如果你觉得文字看着枯燥,可以看配套讲解视频:讲解视频对于数据挖掘的缺失值的处理,应该是在数据预处理阶段应该首先完成的事,缺失值的处理一般情况下有三种方式: (1)删掉缺失值数据 (2)不对其进行处理 ...
关于数据预处理的7个重要知识点，全在这儿了！
导读:今天这篇文章是「大数据」内容合伙人周萝卜关于<Python数据分析与数据化运营>的一篇读书笔记.在大数据公众号后台对话框回复合伙人,免费读书.与50万「大数据」同行分享你的洞见. 作 ...
机器学习笔记六——特征工程之数据预处理
特征工程之数据预处理 1. 处理缺失值 2. 处理异常值 2.1 异常值检测 2.2异常值处理 3.离散特征的连续化处理 4.连续特征的离散化处理 5. 处理类别不平衡问题 6. 图片数据扩充数据预 ...

数据预处理阶段“不处理”缺失值的思路

数据预处理阶段“不处理”缺失值的思路相关推荐

最新文章

热门文章