08.特征预处理-归一化

特征处理

通过特定的统计方法（数学方法）将数据转换成算法要求的数据

数值型数据：标准缩放：

归一化
标准化
缺失值

类别型数据：one-hot编码时间类型：时间的切分

sklearn特征处理API

sklearn. preprocessing

归一化

特点：通过对原始数据进行变换把数据映射到(默认为[0,1])之间

公式: X′= (x−min)/(max−min) X′′=X′∗(mx−mi)+mi

注：作用于每一列，max为一列的最大值，min为一列的最小值,那么X’’ 为最终结果，mx，mi分别为指定区间值默认mx为1,mi为0

09.归一化以及标准化对比

sklearn归一化API

sklearn归一化API: sklearn.preprocessing.MinMaxScaler

MinMaxScaler语法

MinMaxScalar(feature_range=(0,1)…)

每个特征缩放到给定范围(默认[0,1])

MinMaxScalar.fit_transform(X)

X:numpy array格式的数据[n_samples,n_features]
返回值：转换后的形状相同的array

import sklearn
from sklearn import feature_extraction
from sklearn.preprocessing import MinMaxScalerdef mm():mm = MinMaxScaler() #feature_range=()data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])print(data)return Nonemm()

[[1.         0.         0.         0.        ][0.         1.         1.         0.83333333][0.5        0.5        0.6        1.        ]]

问题：如果数据中异常点较多，会有什么影响？

归一化总结

注意在特定场景下最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。

标准化

1、特点：通过对原始数据进行变换把数据变换到均值为0,方差为1范围内

异常值对标准化影响不大

对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变

对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

sklearn特征化API

sklearn特征化API: scikit-learn.preprocessing.StandardScaler

StandardScaler语法

StandardScaler(…) 处理之后每列来说所有数据都聚集在均值0附近方差为1

StandardScaler.fit_transform(X,y)

X:numpy array格式的数据[n_samples,n_features]
返回值：转换后的形状相同的array

StandardScaler.mean_

原始数据中每列特征的平均值

StandardScaler.std_

原始数据每列特征的方差

10.标准化总结以及缺失值处理

在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景

11.标准化总结以及缺失值处理

缺失值

删除	如果每列或者行数据缺失值达到一定的比例，建议放弃整行或者整列
插补	可以通过缺失值每行或者每列的平均值、中位数来填充

2.sklearn缺失值API: sklearn.preprocessing.Imputer

Imputer语法

Imputer(missing_values='NaN', strategy='mean', axis=0)

完成缺失值插补

Imputer.fit_transform(X,y)

X:numpy array格式的数据[n_samples,n_features]
返回值：转换后的形状相同的array

from sklearn.preprocessing import MinMaxScaler
from sklearn.impute import SimpleImputer
import numpy as npdef im():im = SimpleImputer(strategy="mean")data = im.fit_transform([[1, 2], [np.nan, 3], [7, 6]])print(data)return None
im()

[[1. 2.][4. 3.][7. 6.]]

机器学习算法基础——数据特征预处理相关推荐

机器学习算法基础——数据降维
12.数据的降维之特征选择特征选择冗余:部分特征的相关度高,容易消耗计算性能噪声:部分特征对预测结果有负影响特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择 ...
【机器学习】sklearn数据特征预处理：归一化和标准化
归一化处理特点:通过对原始数据进行变换把数据映射到(默认为[0,1])之间 from sklearn.preprocessing import MinMaxScaler def mm():" ...
超级实用！如何为机器学习算法准备数据？
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达本文为<Scikit-Learn 和 TensorFlow 机器学习指南>的第二章 ...
ML之LightGBM：基于titanic数据集利用LightGBM和shap算法实现数据特征的可解释性(量化特征对模型贡献度得分)
ML之LightGBM:基于titanic数据集利用LightGBM和shap算法实现数据特征的可解释性(量化特征对模型贡献度得分) 目录基于titanic数据集利用LightGBM和shap算法实 ...
ML之FE：机器学习算法/数据挖掘中特征选取(变量筛选)的简介、常用方法(单变量分析并筛选—Filter/Wrapper/Embedded、多变量间相关性分析并筛选—PCC/MIC/IV)之详细攻略
ML之FE:机器学习算法/数据挖掘中特征选取(变量筛选)的简介.常用方法(单变量分析并筛选-Filter/Wrapper/Embedded.多变量间相关性分析并筛选-PCC/MIC/IV)之详细攻略 ...
机器学习-3.数据特征预处理与数据降维
特征预处理定义:通过特定的统计方法(数学方法)将数据转换成算法要求的数据. 处理方法数值型数据:标准缩放(1.归一化,2.标准化):缺失值. 类别型数据:one-hot编码. 时间类型:时间的切分. ...
机器学习算法基础概念学习总结
转自:http://blog.csdn.net/lantian0802/article/details/38333479 1.基础概念: (1) 10折交叉验证:英文名是10-fold cross-v ...
python必备基础代码-机器学习算法基础（使用Python代码）
介绍谷歌的自动驾驶汽车和机器人受到了很多媒体的关注,但该公司真正的未来是在机器学习领域,这种技术能使计算机变得更聪明,更个性化.-Eric Schmidt(Google董事长) 我们可能生活在人类历 ...
机器学习算法基础（使用Python代码）
介绍谷歌的自动驾驶汽车和机器人受到了很多媒体的关注,但该公司真正的未来是在机器学习领域,这种技术能使计算机变得更聪明,更个性化.-Eric Schmidt(Google董事长) 我们可能生活在人类历 ...

机器学习算法基础——数据特征预处理