特征数据清洗 编码 标准化
特征工程是机器学习的第一步，涉及清理现有数据集、提高信噪比和降低维数的所有技术。大多数算法对输入数据有很强的假设，当使用原始数据集时，它们的性能可能会受到负面影响。
另外有些特征之间高度相关，在其中一个特征提供了足够的信息之后，与之相关的其他特征往往无法提供额外的信息。这时我们就需要了解如何减少特征数量或者仅选择最佳特征。
一、scikit-learn数据集
scikit-learn提供了一些用于测试的内置数据集，这些数据集包含在sklearn.datasets中，每个数据集都包含了输入集（特征集）X和标签（目标值）y。比如波士顿房价的数据集（用于回归问题）：
from sklearn.datasets import load_boston
boston = load_boston()
X = boston.data
y = boston.target
print(‘特征集的shape：’, X.shape)
print(‘目标集的shape：’, y.shape)
特征集的shape： (506, 13)
目标集的shape： (506,)
可以看到，这个数据集包含了506个样本、13个特征，以及1个目标值。
假如我们不想使用scikit-learn提供的数据集，那么我们还可以使用scikit-learn提供的工具来手动创建特定的数据集。相关的方法有：
make_classification()：用于创建适用于测试分类算法的数据集；
make_regression()：用于创建适用于测试回归模型的数据集；
make_blobs()：用于创建适用于测试聚类算法的数据集。
二、创建训练集和测试集
一般来说，我们要在正式应用我们训练的模型前对它进行测试。因此我们需要将数据集分为训练集和测试集，顾名思义，前者用于训练模型参数，后者用于测试模型性能。在某些情况下，我们甚至还会再分出一个数据集作为交叉验证集，这种处理方式适用于有多种模型可供选择的情况。
数据集的分割有一些注意事项：首先，两个数据集必须要能反映原始数据的分布，否则在数据集失真的情况下得到的模型对于真实样本的预测效力会比较差；其次，原始数据集必须在分割之前随机混合，以避免连续元素之间的相关性。
在scikit-learn中，我们可以使用train_test_split()函数来快速实现数据集的分割。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=1000)
这里前两个位置参数分别是特征集和目标集，test_size用于指定测试集大小占整个数据集的比例，random_state则是指定一个随机种子，这样可以确保我们在重复试验时数据不会发生变化（数据集都变了，那模型效果的变化就不知道该归因于模型的优化还是归因于数据集的变化了。）
三、管理分类数据
在许多分类问题中，目标数据集由各种类别标签组成。但是很多算法是不支持这种数据格式的，因此我们要对其进行必要的编码。
假设我们有一个由10个样本组成的数据集，每个样本有两个特征。
import numpy as np
X = np.random.uniform(0.0, 1.0, size=(10, 2))
y = np.random.choice((‘Male’, ‘Female’), size=(10))
print(‘X:’, X)
print(‘y:’, y)
X: [[0.48463048 0.21682675]
[0.27987595 0.28061459]
[0.13723177 0.45159025]
[0.42727284 0.99834867]
[0.61113219 0.31892401]
[0.14985227 0.71565914]
[0.048201 0.49254257]
[0.54466226 0.8419817 ]
[0.94426201 0.78924785]
[0.36877342 0.53250431]]
y: [‘Female’ ‘Female’ ‘Male’ ‘Female’ ‘Female’ ‘Female’ ‘Male’ ‘Male’
‘Female’ ‘Male’]
- 使用LabelEncoder类
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
yt = le.fit_transform(y)
print(y)
print(yt)
print(le.classes_)
[‘Female’ ‘Female’ ‘Male’ ‘Female’ ‘Female’ ‘Female’ ‘Male’ ‘Male’
‘Female’ ‘Male’]
[0 0 1 0 0 0 1 1 0 1]
[‘Female’ ‘Male’]
获得逆变换的方法很简单：
output = [1, 0, 1, 1, 0, 0]
decoded_output = [le.classes_[i] for i in output]
print(decoded_output)
[‘Male’, ‘Female’, ‘Male’, ‘Male’, ‘Female’, ‘Female’]
这种方法很简单，但是有个缺点：所有的标签都变成了数字，然后使用真实值的分类器会根据其距离考虑相似的数字，而忽略其代表的分类含义。因此我们通常优先选择独热编码（one-hot encoding，又称一次有效编码），将数据二进制化。
- 使用LabelBinarizer类
from sklearn.preprocessing import LabelBinarizer
lb = LabelBinarizer()
yb = lb.fit_transform(y)
print(y)
print(yb)
print(lb.inverse_transform(yb))
[‘Female’ ‘Female’ ‘Male’ ‘Female’ ‘Female’ ‘Female’ ‘Male’ ‘Male’
‘Female’ ‘Male’]
[[0]
[0]
[1]
[0]
[0]
[0]
[1]
[1]
[0]
[1]]
[‘Female’ ‘Female’ ‘Male’ ‘Female’ ‘Female’ ‘Female’ ‘Male’ ‘Male’
‘Female’ ‘Male’]
可以看到，这里我们可以使用LabelBinarizer类的inverse_transform方法进行逆转化。
当存在多个标签时，这种方法会将其中一个标签变换为1，其余标签全部为0。这可能会导致的问题显而易见，也就是我们将多分类问题转换成了二分类问题。
四、管理缺失特征
我们可能会经常碰见数据缺失的情况，有以下选项可以解决该问题：
删除整行：这个选项比较激进，一般只有当数据集足够大、缺少的特征值数量很多而且预测风险大时才会选择；
创建子模型来预测这些特征值：第二个选项实现起来比较困难，因为需要确定一个监督策略来训练每个特征的模型，最后预测它们的值；
使用自动策略根据其他已知值插入这些缺失的特征值：考虑到以上的利弊，这可能是最好的选项了。
from sklearn.preprocessing import Imputer
data = np.array([[1, np.nan, 2],
[2, 3, np.nan],
[-1, 4, 2]])
插入均值
imp = Imputer(strategy=‘mean’)
print(‘Mean:\n’, imp.fit_transform(data))
插入中位数
imp = Imputer(strategy=‘median’)
print(‘Median:\n’, imp.fit_transform(data))
插入众数
imp = Imputer(strategy=‘most_frequent’)
print(‘Mode:\n’, imp.fit_transform(data))
Mean:
[[ 1. 3.5 2. ]
[ 2. 3. 2. ]
[-1. 4. 2. ]]
Median:
[[ 1. 3.5 2. ]
[ 2. 3. 2. ]
[-1. 4. 2. ]]
Mode:
[[ 1. 3. 2.]
[ 2. 3. 2.]
[-1. 4. 2.]]
五、数据缩放和归一化
一般的数据集是由不同的值组成的，可以从不同的分布得到且具有不同的尺度，有时还会有异常值。当不同特征的取值范围差异过大时，很可能会对模型产生不良影响。因此我们往往需要先规范数据集。
我们来对比一下原始数据集和经过缩放和中心化的数据集：
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris
import seaborn as sns
import matplotlib.pyplot as plt
sns.set()
导入数据
iris = load_iris()
data = iris.data
绘制原始数据散点图
fig, axes = plt.subplots(1, 2, figsize=(10, 5))
sns.scatterplot(x=data[:, 0], y=data[:, 1], ax=axes[0])
数据归一化
scaler = StandardScaler()
scaled_data = scaler.fit_transform(data)
绘制规范化数据散点图
sns.scatterplot(x=scaled_data[:, 0], y=scaled_data[:, 1], ax=axes[1])
plt.setp(axes, xlim=[-2, 8], ylim=[-3, 5]);
可以看到，我们的数据分布形态没有变化，但是数据的分布范围却变了。我们将数据转化成了均值为0（几乎为0），标准差为1的归一化数据。
print(‘转化前均值：\n’, np.mean(data, axis=0))
print(‘转化后均值：\n’, np.mean(scaled_data, axis=0))
print(‘转化前方差：\n’, np.std(data, axis=0))
print(‘转化后方差：\n’, np.std(scaled_data, axis=0))
转化前均值：
[5.84333333 3.054 3.75866667 1.19866667]
转化后均值：
[-1.69031455e-15 -1.63702385e-15 -1.48251781e-15 -1.62314606e-15]
转化前方差：
[0.82530129 0.43214658 1.75852918 0.76061262]
转化后方差：
[1. 1. 1. 1.]
在数据缩放时，我们还可以使用类RobustScaler对异常值进行控制和选择分位数范围。
from sklearn.preprocessing import RobustScaler
转化数据1
rb1 = RobustScaler(quantile_range=(15, 85))
scaled_data1 = rb1.fit_transform(data)
转化数据2
rb2 = RobustScaler(quantile_range=(25, 75))
scaled_data2 = rb2.fit_transform(data)
转化数据3
rb3 = RobustScaler(quantile_range=(30, 60))
scaled_data3 = rb3.fit_transform(data)
绘制散点图
fig, axes = plt.subplots(2, 2, figsize=(10, 10))
sns.scatterplot(x=data[:, 0], y=data[:, 1], ax=axes[0, 0])
sns.scatterplot(x=scaled_data1[:, 0], y=scaled_data1[:, 1], ax=axes[0, 1])
sns.scatterplot(x=scaled_data2[:, 0], y=scaled_data2[:, 1], ax=axes[1, 0])
sns.scatterplot(x=scaled_data3[:, 0], y=scaled_data3[:, 1], ax=axes[1, 1])
plt.setp(axes, ylim=[-4, 5], xlim=[-2, 8]);
可以看到，数据的大致分布形态仍然很接近，但是数据的分布范围简直大变样。另外，由于我们设置了不同的分位数范围，因此数据的样本量也不太一样。
常用的还有MinMaxScaler和MaxAbsScaler，前者通过删除不属于给定范围的元素，后者则通过考虑使用最大绝对值来缩放数据。
scikit-learn还为每个样本规范化提供了一个类：Normalizer。它可以对数据集的每个元素应用Max、L1和L2范数。
Max：每个值都除以数据集中的最大值；
L1：每个值都除以数据集中所有值的绝对值之和；
L2：每个值都除以数据集中所有值的平方和的平方根
我们来看一个例子。
from sklearn.preprocessing import Normalizer
生成数据
data = np.array([1, 2]).reshape(1, 2)
print(‘原始数据：’, data)
Max
n_max = Normalizer(norm=‘max’)
print(‘Max：’, n_max.fit_transform(data))
L1范数
n_l1 = Normalizer(norm=‘l1’)
print(‘L1范数：’, n_l1.fit_transform(data))
L2范数
n_l2 = Normalizer(norm=‘l2’)
print(‘L2范数：’, n_l2.fit_transform(data))
原始数据： [[1 2]]
Max： [[0.5 1. ]]
L1范数： [[0.33333333 0.66666667]]
L2范数： [[0.4472136 0.89442719]]
六、特征选择和过滤
不是所有的特征都能提供足够的信息的，甚至有些特征会对我们的模型训练产生障碍，因此在模型训练开始前我们要对特征做出一定的选择。
接下来我们使用SelectKBest方法结合F检验来筛选回归模型的特征。
from sklearn.feature_selection import SelectKBest, f_regression
from sklearn.datasets import load_boston
boston = load_boston()
print('Boston data shape: ', boston.data.shape)
selector = SelectKBest(f_regression)
X_new = selector.fit_transform(boston.data, boston.target)
print(‘Filtered Boston data shape:’, X_new.shape)
print(‘F-Scores:’, selector.scores_)
Boston data shape: (506, 13)
Filtered Boston data shape: (506, 10)
F-Scores: [ 88.15124178 75.2576423 153.95488314 15.97151242 112.59148028
471.84673988 83.47745922 33.57957033 85.91427767 141.76135658
175.10554288 63.05422911 601.61787111]
然后我们使用SelectPercentile结合卡方检验来筛选分类模型的特征。
from sklearn.feature_selection import SelectPercentile, chi2
from sklearn.datasets import load_iris
iris = load_iris()
print('Boston data shape: ', iris.data.shape)
selector = SelectPercentile(chi2, percentile=15)
X_new = selector.fit_transform(iris.data, iris.target)
print(‘Filtered Boston data shape:’, X_new.shape)
print(‘F-Scores:’, selector.scores_)
Boston data shape: (150, 4)
Filtered Boston data shape: (150, 1)
F-Scores: [ 10.81782088 3.59449902 116.16984746 67.24482759]
在数据预处理时，我们还经常会采用主成分分析等方法来实现数据降维等目的，不过这一部分我们完全可以单独拆出一个章节来讲解，感兴趣的朋友可以关注下后续的更新。
https://zhuanlan.zhihu.com/p/53938233
特征数据清洗 编码 标准化相关推荐
- R语言使用glmnet包拟合lasso-cox回归模型（包含生存时间和结果标签）、使用lasso-cox模型进行特征筛选、使用sapply函数对特征数据进行标准化z-score
R语言使用glmnet包拟合lasso-cox回归模型(包含生存时间和结果标签).使用lasso-cox模型进行特征筛选.使用sapply函数对特征数据进行标准化z-score 目录
- ML：通过数据预处理(分布图/箱型图/模型寻找异常值/热图/散点图/回归关系/修正分布正态化/QQ分位图/构造交叉特征/平均数编码)利用十种算法模型调优实现工业蒸汽量回归预测(交叉训练/模型融合)之详
ML之LightGBM:通过数据预处理(分布图/箱型图/模型寻找异常值/热图/散点图/回归关系/修正分布正态化/QQ分位图/构造交叉特征/平均数编码)利用十种算法模型调优实现工业蒸汽量回归预测(交叉训 ...
- 数据预处理和特征工程2-缺失值处理、分类型特征：编码与哑变量
缺失值处理 import pandas as pd data = pd.read_csv(r"E:\机器学习\sklearn学习\数据\Narrativedata.csv",ind ...
- 机器学习-特征处理/归一化/标准化/降维03
归一化 from sklearn.preprocessing import MinMaxScaler def mm(): # 归一化处理mm = MinMaxScaler()data = mm.fit ...
- matlab怎么提取特征,matlab – 了解提取特征的编码
我关注的编码是fisher编码,因为我已经证明我的工作效果最好.所以我想在我提取的(SIFT)功能上测试Fisher编码,并测试系统的性能,无论是否编码. 而不是重新开始我发现vl_feat有一个用于 ...
- 数据预处理：标称型特征的编码和缺失值处理
本文转自https://www.cnblogs.com/cnkai/p/7755097.html 标称型特征编码(Encoding categorical feature) 有些情况下,某些特征的取值 ...
- Spark2-oneHot编码-标准化-主成分-聚类
// affairs:一年来婚外情的频率 // gender:性别 // age:年龄 // yearsmarried:婚龄 // children:是否有小孩 // religiousness:宗教 ...
- 强行分类提取特征自编码网络例4
# -*- coding: utf-8 -*- import torch import cv2 import numpy as np import matplotlib.pyplot as plt f ...
- 强行分类提取特征自编码网络例3
# -*- coding: utf-8 -*- import torch import cv2 import numpy as np import matplotlib.pyplot as plt f ...
- 强行分类提取特征自编码网络例2
import torch import cv2 import numpy as np import matplotlib.pyplot as pltclass S_net(torch.nn.Modul ...
最新文章
- Json 不同语言的使用
- 阶段1 语言基础+高级_1-3-Java语言高级_02-继承与多态_第1节 继承_7_继承中方法的覆盖重写_注意事项...
- [恢]hdu 1865
- C# 视频监控系列(14)：总结贴——VC++代码转成C#小结
- 【线上分享】基于人眼主观视觉的画质评价与提升
- Multidex（二）之Dex预加载优化
- win2012活动目录介绍
- vba代码编程800例_VBA编程常用过程代码实例2630
- C语言中全局变量存放在哪个位置？
- Origin 在新打开的工作区添加列
- IM即时通讯项目讲解(二) 自定义实现图片选择GalleryView
- Multisim10~14软件包及安装手册+pojie软件
- PDF怎么编辑修改，如何编辑PDF文字内容
- 修改win10服务器登录密码,玩转Win10密码基础篇：设置修改系统登录密码
- SSD，eMMC，UFS的区别
- 【zyc的从零开始】20211012 运算符
- kubernetes的ingress：Ingress controller，traefik
- vue页面特效：雨滴、流星
- 电脑里文件消失了,存储内存还占用着,怎么办?
- 26.Vue列表渲染中key的作用与原理（内含虚拟DOM的对比算法详解）