scikit-learn中的数据归一化

在机器学习使用数据归一化的时候有一个重要的注意事项

我们对训练数据进行均值和方差的处理，得到mean_train以及std_train，但是在对测试数据进行归一化的时候，是不能直接用测试数据的均值和方差来进行归一化的，应该使用训练数据的均值和方差对测试数据进行均值方差归一化

为什么要这样做呢，我们训练这个模型是为了在真实的环境中去使用的，测试数据是模拟真实的环境，但是真实环境很有可能是没法得到所有的测试数据的均值和方差的，是很难得到这种统计数据的，另外，对数据的归一化也是算法的一部分，我们针对后面来的数据，应该也对其进行这样的处理

那么我们就必须要保存训练数据集得到的均值和方差

整体流程

实际操作(以鸢尾花为例)

x前十行的内容(并未进行归一化处理)

scikit-learn中的standardscaler

想调用，只需要

from sklearn.preprocessing import StandardScaler

创建一个实例

standardScaler = StandardScaler()

进行fit操作，其包含了很多的信息

standardScaler.fit(X_train)

数组的均值(对应的四个特征的均值)

对于mean_的_，对于是由用户传进去的变量计算得到的，用户可以随时在外围进行查询的，在后面要有_才行

方差

standardScaler.std_

这个我的版本已经弃用了，使用的话会报错

标准差

standardScaler.scale_

现在可以正式使用transform进行数据归一化处理

注意：这样处理以后，X_train实际上没有进行变化

使用

X_train = standardScaler.transform(X_train)

就可以使X_train保存下归一化以后的矩阵了

在对训练矩阵进行归一化

X_test_standard = standardScaler.transform(X_test)

使用knn算法进行预测分析准确率

值得注意的是，当我们用归一化以后的训练集来训练机器算法之后，我们在预测的时候，测试数据集必须同样进行归一化，不然的话准确率会相当的低

在pc中手动写出可以实现的归一化

import numpy as np

class StandardScaler:

def __init__(self):

self.mean_ = None

self.scale_ = None;

def fit(self, X):

assert X.ndim == 2, "The dimension of X must be 2"

self.mean_ = np.array([np.mean(X[:, i]) for i in range(X.shape[1])])

self.scale_ = np.array([np.std(X[:, i]) for i in range(X.shape[1])])

return self

def tranform(self, X):

assert X.ndim == 2, "The dimension of X must be 2"

assert self.mean_ is not None and self.scale_ is not None, \

"must fit before transform!"

assert X.shape[1] == len(self.mean_), \

"the feature number of X must be equal to mean_ and std_"

resX = np.empty(shape=X.shape, dtype=float)

for col in range(X.shape[1]):

resX[:, col] = (X[:, col] - self.mean_[col]) / self.scale_[col]

return resX