sklearn数据预处理（二）非线性转换

@R星校长

第2关：非线性转换

为什么要非线性转换。
映射到均匀分布。
映射到高斯分布。

为什么要非线性转换

在上一关中已经提到，对于大多数数据挖掘算法来说，如果特征不服从或者近似服从标准正态分布（即，零均值、单位标准差的正态分布）的话，算法的表现会大打折扣。非线性转换就是将我们的特征映射到均匀分布或者高斯分布(即正态分布)。

映射到均匀分布

相比线性缩放，该方法不受异常值影响，它将数据映射到了零到一的均匀分布上，将最大的数映射为1，最小的数映射为0。其它的数按从小到大的顺序均匀分布在0到1之间，如有相同的数则取平均值，如数据为np.array([[1],[2],[3],[4],[5]])则经过转换为：np.array([[0],[0.25],[0.5],[0.75],[1]])，数据为np.array([[1],[2],[9],[10],[2]])则经过转换为：np.array([[0],[0.375],[0.75],[1.0],[0.375]])。第二个例子具体过程如下图：

在sklearn中使用QuantileTransformer方法实现，用法如下：

from sklearn.preprocessing import QuantileTransformer
import numpy as npdata = np.array([[1],[2],[3],[4],[5]])
quantile_transformer = QuantileTransformer(random_state=666)
data = quantile_transformer.fit_transform(data)>>>data
array([[0.  ],[0.25],[0.5 ],[0.75],[1.  ]])

映射到高斯分布

映射到高斯分布是为了稳定方差，并最小化偏差。在最新版sklearn 0.20.x中PowerTransformer现在有两种映射方法，Yeo-Johnson映射，公式如下：

Box-Cox映射，公式如下：

在sklearn 0.20.x中使用PowerTransformer方法实现，用法如下：

from sklearn.preprocessing import PowerTransformer
import numpy as np
data = np.array([[1],[2],[3],[4],[5]])
pt = PowerTransformer(method='box-cox', standardize=False)
data = pt.fit_transform(data)

学习平台使用的是sklearn 0.19.x，通过对QuantileTransformer设置参数output_distribution='normal'实现映射高斯分布，用法如下：

from sklearn.preprocessing import QuantileTransformer
import numpy as npdata = np.array([[1],[2],[3],[4],[5]])
quantile_transformer = QuantileTransformer(output_distribution='normal',random_state=666)
data = quantile_transformer.fit_transform(data)
data = np.around(data,decimals=3)>>>data
array([[-5.199],[-0.674],[ 0.   ],[ 0.674],[ 5.199]])

编程要求

根据提示，在右侧编辑器Begin-End处补充Python代码，实现数据非线性转换方法，我们会使用实现好的方法对数据进行处理。

测试说明
我们会调用你实现好的方法对数据进行处理，如输入数据为：

np.array([[1],[2],[3],[4],[5]])

映射到均匀分布,则处理后结果为:

np.array([[0.  ], [0.25],[0.5 ],[0.75],[1.  ]])

映射到高斯分布，则处理后结果为:

np.array([[-5.199],[-0.674],[ 0.   ],[ 0.674],[ 5.199]])

如处理后的数据符合要求，则视为通关。

开始你的任务吧，祝你成功！

答案：

from sklearn.preprocessing import QuantileTransformer#实现非线性转换方法
def non_linear_transformation(x,y):'''x(ndarray):待处理数据y(int):y等于0映射到均匀分布y等于1映射到高斯分布'''#********* Begin *********#if y == 0:transformer = QuantileTransformer(random_state=666)x = transformer.fit_transform(x)return xelif y == 1:transformer = QuantileTransformer(output_distribution='normal',random_state=666)x = transformer.fit_transform(x)return x#********* End *********#

sklearn数据预处理（二）非线性转换相关推荐

第五篇：数据预处理(二) - 异常值处理
第五篇:数据预处理(二) - 异常值处理参考文章: (1)第五篇:数据预处理(二) - 异常值处理 (2)https://www.cnblogs.com/muchen/p/6883101.html ...
sklearn数据预处理
@Author : By Runsen 文章目录预处理数据映射到统一分布标准化,或平均删除和方差缩放数据的正则化(正则化有时也叫归一化) 特征的二值化怎么设置阈值分类特征编码有丢失的分类 ...
python机器学习库sklearn——数据预处理
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程主要操作内容标准化,也称去均值和方差按比例缩放将特征缩放至特定范围内缩放稀疏(矩阵)数据缩放有离群值的数据核矩阵的中心化非 ...
Scikit-learn学习系列 | 2. sklearn数据预处理的相关方法
如有错误,恳请指出. 以下内容整理自专栏:博主"文火冰糖的硅基工坊"的专栏--机器学习与scikit-learn,对部分的文章的简化与整理. 文章目录 1. 数据预处理介绍 2. ...
Sklearn 数据预处理与特征工程 preprocessingimpute
数据预处理:目的是为了提高数据质量,使数据挖掘的过程更加有效,更加容易,同时也提高挖掘结果的质量.数据预处理的对象主要是清理其中的噪声数据.空缺数据和不一致数据. 特征工程:降低计算成本.提升模型上限 ...
sklearn数据预处理－scale
对数据按列属性进行scale处理后,每列的数据均值变成0,标准差变为1.可通过下面的例子加深理解: from sklearn import preprocessing import numpy as ...
[机器学习-sklearn]数据预处理要点总结
数据预处理要点总结 1. 为什么要数据预处理 2. 数据中存在缺失值 2.1 查看数据的完整性(missingno) 2.2 简单删除法 2.3 人工填写(filling manually) 2.4 ...
sklearn 数据预处理1: StandardScaler
转载自:https://blog.csdn.net/u012609509/article/details/78554709 StandardScaler 作用:去均值和方差归一化.且是针对每一个特征维 ...
sklearn学习笔记（一）——数据预处理 sklearn.preprocessing
python sklearn 更多个人分类: Python 数据处理 sklearn 数据预处理 sklearn.preprocessing 查看全文 http://www.taodudu.cc/n ...

sklearn数据预处理（二）非线性转换

sklearn数据预处理（二）非线性转换相关推荐

最新文章

热门文章