数据无量纲化

将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据“无量纲化”。

譬如梯度和矩阵为核心的算法中，如逻辑回归，支持向量机，神经网络，无量纲化可以加快求解速度;而在距离类模型；

譬如K近邻，K-Means聚类中，无量纲化可以帮我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成影响。

数据的无量纲化可以是线性的，也可以是非线性的。
线性的无量纲化包括中心化(Zero-centered或者Mean- subtraction)处理和缩放处理(Scale)。
中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置。
缩放的本质是通过除以一个固定值，将数据固定在某个范围之中。（取对数也算是一种缩放处理。）

实现归一化

当数据(x)按照最小值中心化后，再按极差(最大值 - 最小值)缩放，数据移动了最小值个单位，并且会被收敛到 [0,1]之间。
而这个过程，就叫做数据归一化(Normalization，又称Min-Max Scaling)

在sklearn当中，我们使用preprocessing.MinMaxScaler来实现这个功能。
MinMaxScaler有一个重要参数， feature_range，控制我们希望把数据压缩到的范围，默认是[0,1]。

MinMaxScaler的用法：

from sklearn.preprocessing import MinMaxScaler
data=[[-1,2],[-0.5,6],[0,10],[1,18]]
实现归一化：三步：
1 实例化
2 fit，在这里本质是生成min(x)和max(x)
3 通过接口导出结果scaler=MinMaxScaler()
scaler=scaler.fit(data)
result=scaler.transform(data)
result# 以上代码也可以一步达成
result_=scaler.fit_transform(data)
result# 将归一化后的结果逆转
scaler.inverse_transform(result)#使用MinMaxScaler的参数feature_range实现将数据归一化到[0,1]以外的范围中
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler = MinMaxScaler(feature_range=[5,10]) #依然实例化
result = scaler.fit_transform(data) #fit_transform一步导出结果
result# 当X中的特征数量非常多的时候，fit会报错并表示，数据量太大了计算不了
#此时使用partial_fit作为训练接口
#scaler = scaler.partial_fit(data)

实现标准化

当数据(x)按均值(μ)中心化后，再按标准差(σ)缩放，数据就会服从为均值为0，方差为1的正态分布(即标准正态分布)。

而这个过程，就叫做数据标准化(Standardization，又称Z-score normalization)

StandardScaler的用法：

from sklearn.preprocessing import StandardScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]scaler = StandardScaler()           #实例化
scaler.fit(data)                    #fit，本质是生成均值和方差
scaler.mean_                        #查看均值的属性mean_
scaler.var_                         #查看方差的属性var_
x_std = scaler.transform(data)      #通过接口导出结果 x_std.mean()                        #导出的结果是一个数组，用mean()查看均值
x_std.std()                         #用std()查看方差 #以上代码可以使用fit_transform(data)一步达成结果：
scaler.fit_transform(data) #使用inverse_transform逆转标准化：
scaler.inverse_transform(x_std)

StandardScaler和MinMaxScaler选哪个?

大多数机器学习算法中，会选择StandardScaler来进行特征缩放，因为MinMaxScaler对异常值非常敏感。

在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择。

建议先试试看StandardScaler，效果不好换MinMaxScaler。

3.数据预处理 Preprocessing Impute相关推荐

数据预处理2: impute.SimpleImputer来填补缺失值
import numpy as np import pandas as pd import matplotlib.pyplot as plt data = pd.read_csv("trai ...
sklearn 神经网络_sklearn中的数据预处理和特征工程
小伙伴们大家好~o(￣▽￣)ブ,今天我们看一下Sklearn中的数据预处理和特征工程,老规矩还是先强调一下,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你 ...
sklearn中eof报错_sklearn中的数据预处理和特征工程
小伙伴们大家好~o(￣▽￣)ブ,今天我们看一下Sklearn中的数据预处理和特征工程,老规矩还是先强调一下,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你 ...
sklearn实战-----3.数据预处理和特征工程
1 概述 1.1 数据预处理与特征工程想象一下未来美好的一天,你学完了菜菜的课程,成为一个精通各种算法和调参调库的数据挖掘工程师了.某一天你从你的同事,一位药物研究人员那里,得到了一份病人临床表现 ...
使用Sklearn库学习数据预处理和特征工程
目录 1,概述 1.1,数据预处理和特征工程 1.2,sklearn中的数据预处理和特征工程 2,数据预处理 Preprocessing & Impute 2.1,数据无量纲化 2.2,缺失值 ...
pandas用众数填充缺失值_sklearn中的数据预处理和特征工程
小伙伴们大家好~o()ブ,我是菜菜,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你的版本至少要3.4以上 Scikit-learn 0.20.0 (你的版 ...
sklearn_数据预处理和特征工程
转载自:菜菜的sklearn课堂文章目录 1 概述 1.1 数据预处理与特征工程 1.2 sklearn中的数据预处理和特征工程 2 数据预处理 Preprocessing & Impute ...
数据预处理工具_数据预处理
数据预处理工具 As the title states this is the last project from Udacity Nanodegree. The goal of this proje ...
[机器学习与scikit-learn-8]：数据预处理-1-意义与概述
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...

3.数据预处理 Preprocessing Impute