[特征工程系列二]显性特征的基本处理方法

今天接着前一篇文章讲，主要分享基于显性特征工程的一些最基本的处理方法。关于显性特征是什么，大家可以去看系列文章一。关于显性特征的处理方法可以做这样的类比：不知道大家平时会不会自己做菜，我个人的话基本每周都会做。我们从菜市场买的菜，不经过处理是不能下锅的，因为需要清洗、摘取烂的叶子、切段等操作后才可以下锅。如果把机器学习整个流程比做炒一盘青菜的话，今天要介绍这些方式就有点像菜的前期处理过程。那我们就分类别介绍下，对于一份数据，需要针对特征做哪些处理。

1. 数据清洗

主要包括两方面，一方面是填充缺失值，因为在机器学习算法的计算过程中会对数据进行各种运算符的计算，需要把一些空值填充，通常会被填充为0或者是对应特征列的均值。第二方面是乱码问题，如果是文本数据，经常会出现编码问题，需要把数据的类型全部处理好，最好是double型的。

2. 去量纲

因为数据的量纲会影响到某些算法的计算，比如有两个字段数据分别是一个人吃饭用了多少秒、吃了多少斤饭，那一个是时间数据，另一个是重量数据，算法是无法感知这些量纲的影响的，所以需要一些数学手段规避。去量纲常用的方法是归一化和标准化。

标准化就是每个特征值减去均值再除以方差，表现的是数据的一个分布情况。

归一化是把数据的分布强制性的限制到0和1之间，使得向量单位化。

个人认为标准化对于刻画数据的特征效果更好。

3. 数据平滑

大家可能平时会接触到一些分布极不均匀的数据，比如一个数据区间是[0,256]，但是百分之九十以上的数据分布在[0,10]和[200,256]这两个区间中。对于这样的数据可以通过取对数的方式来处理，让数据的分布更加平滑。或者干脆数据分桶，去一个中间阈值，小于128的标记为0，大于128的标记为1。

4. 数据去噪

很多时候数据因为采集方式可能出现各别事故，比如有的数据是靠调查问卷采集上来的，但是就有一个人不认真写，瞎写，造成了噪声数据。这种跟事实偏差极大的数据，可以通过正态分布的原理去除，因为可以设想数据的分布大部分是比较平均的，符合正态分布，那与均值偏差极大的部分就很有可能是噪声，需要去除。

5. 降维

降维的方式很多啦，如果要讲的话需要非常大的篇幅，之前在写书的时候已经写了一遍了~有点懒，在这里简单题下。其实除了PCA、LDA这两种降维方式以外，逻辑回归中的正则L1也可以理解为一种降维处理。

[特征工程系列二]显性特征的基本处理方法相关推荐

[特征工程系列三]显性特征的衍生
前一文讲的是一些特征的基础处理方式,包括怎么降维.怎么处理脏数据等等.其实特征工程真正的难点是如何结合业务需求衍生出新的特征.结合业务需求讲的是利用专家经验来提取出数据里对结果影响更大的特征,往往是原 ...
[特征工程系列一] 论特征的重要性
满打满算,还有十天左右就要过年了,这些天大家或多或少都有点浮躁.反过来想,趁大家都懈怠的时候,正是学习的最佳时机.趁着这几天,也给自己加点码,去认真的再看一下特征工程.我给自己列了下面的这一份学习清单 ...
特征工程系列：自动化特征构造
特征工程系列:自动化特征构造原创: JunLiang 木东居士今天 0x00 前言数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已.由此可见,特征工程在机器学习中占有相当重要的 ...
数据挖掘#特征工程（二）特征重要性及可解释性总结
在打比赛的时候一直贯穿的思考,大概就是判别各个特征的重要性. 在建立模型之前,特征重要性能够帮助训练模型,防止过拟合,提升模型的RUC效果. 建立模型之后,特征重要性能够增强模型(集成模型非深度学习 ...
特征工程系列：数据清洗
文章系列: 特征工程系列:数据清洗特征工程系列:特征筛选的原理与实现特征工程系列:特征预处理特征工程系列:特征构造特征工程系列:时间特征构造以及时间序列特征构造前言数据和特征决定了机器学习 ...
特征工程系列：特征筛选的原理与实现（下）
0x00 前言我们在<特征工程系列:特征筛选的原理与实现(上)>中介绍了特征选择的分类,并详细介绍了过滤式特征筛选的原理与实现.本篇继续介绍封装式和嵌入式特征筛选的原理与实现. 0x01 ...
特征工程系列：特征预处理（上）
特征工程系列:特征预处理(上) 关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问.动手达人,期待与大家一起交流探讨机器学习相关内容~ 0x00 前言数据和特征决定了机器学习的上限,而模 ...
特征工程系列：特征预处理（下）
特征工程系列:特征预处理(下) 本文为数据茶水间群友原创,经授权在本公众号发表. 关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问.动手达人,期待与大家一起交流探讨机器学习相关内容~ 0 ...
特征工程系列：特征筛选的原理与实现（上）
本文为数据茶水间群友原创,经授权在本公众号发表. 关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问.动手达人,期待与大家一起交流探讨机器学习相关内容~ 0x00 前言数据和特征决定了机 ...

[特征工程系列二]显性特征的基本处理方法

[特征工程系列二]显性特征的基本处理方法相关推荐

最新文章

热门文章