机器学习中的数据预处理(sklearn preprocessing)
Standardization即标准化,尽量将数据转化为均值为零,方差为一的数据,形如标准正态分布(高斯分布)。实际中我们会忽略数据的分布情况,仅仅是通过改变均值来集中数据,然后将非连续特征除以他们的标准差。sklearn中 scale函数提供了简单快速的singlearray-like数据集操作。
一、标准化,均值去除和按方差比例缩放(Standardization, or mean removal and variance scaling)
数据集的标准化:当个体特征太过或明显不遵从高斯正态分布时,标准化表现的效果较差。实际操作中,经常忽略特征数据的分布形状,移除每个特征均值,划分离散特征的标准差,从而等级化,进而实现数据中心化。
1. scale 零均值单位方差
- from sklearn import preprocessing
- import numpy as np
- X = np.array([[1., -1., 2.], [2., 0., 0.], [0., 1., -1.]])
- X_scaled = preprocessing.scale(X)
- #output :X_scaled = [[ 0. -1.22474487 1.33630621]
- [ 1.22474487 0. -0.26726124]
- [-1.22474487 1.22474487 -1.06904497]]
- #scaled之后的数据零均值,单位方差
- X_scaled.mean(axis=0) # column mean: array([ 0., 0., 0.])
- X_scaled.std(axis=0) #column standard deviation: array([ 1., 1., 1.])
2.StandardScaler计算训练集的平均值和标准差,以便测试数据集使用相同的变换。
- scaler = preprocessing.StandardScaler().fit(X) #out: StandardScaler(copy=True, with_mean=True, with_std=True)
- scaler.mean_ #out: array([ 1., 0. , 0.33333333])
- scaler.std_ #out: array([ 0.81649658, 0.81649658, 1.24721913])
- #测试将该scaler用于输入数据,变换之后得到的结果同上
- scaler.transform(X) #out: array([[ 0., -1.22474487, 1.33630621], [ 1.22474487, 0. , -0.26726124], [-1.22474487,1.22474487, -1.06904497]])
- scaler.transform([[-1., 1., 0.]]) #scale the new data, out: array([[-2.44948974, 1.22474487, -0.26726124]])
注 :1)若设置with_mean=False 或者 with_std=False,则不做centering 或者scaling处理。
2)scale和StandardScaler可以用于回归模型中的目标值处理。
二、将数据特征缩放至某一范围(scalingfeatures to a range)
另外一种标准化方法是将数据缩放至给定的最小值与最大值之间,通常是0与1之间,可用MinMaxScaler实现。或者将最大的绝对值缩放至单位大小,可用MaxAbsScaler实现。
使用这种标准化方法的原因是,有时数据集的标准差非常非常小,有时数据中有很多很多零(稀疏数据)需要保存住0元素。
公式:X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0)) ;
X_scaler = X_std/ (max - min) + min
- #例子:将数据缩放至[0, 1]间。训练过程: fit_transform()
- X_train = np.array([[1., -1., 2.], [2., 0., 0.], [0., 1., -1.]])
- min_max_scaler = preprocessing.MinMaxScaler()
- X_train_minmax = min_max_scaler.fit_transform(X_train)
- #out: array([[ 0.5 , 0. , 1. ],
- [ 1. , 0.5 , 0.33333333],
- [ 0. , 1. , 0. ]])
- #将上述得到的scale参数应用至测试数据
- X_test = np.array([[ -3., -1., 4.]])
- X_test_minmax = min_max_scaler.transform(X_test) #out: array([[-1.5 , 0. , 1.66666667]])
- #可以用以下方法查看scaler的属性
- min_max_scaler.scale_ #out: array([ 0.5 , 0.5, 0.33...])
- min_max_scaler.min_ #out: array([ 0., 0.5, 0.33...])
2. MaxAbsScaler(绝对值最大标准化)
与上述标准化方法相似,但是它通过除以最大值将训练集缩放至[-1,1]。这意味着数据已经以0为中心或者是含有非常非常多0的稀疏数据。
- X_train = np.array([[ 1., -1., 2.],
- [ 2., 0., 0.],
- [ 0., 1., -1.]])
- max_abs_scaler = preprocessing.MaxAbsScaler()
- X_train_maxabs = max_abs_scaler.fit_transform(X_train)
- # doctest +NORMALIZE_WHITESPACE^, out: array([[ 0.5, -1., 1. ], [ 1. , 0. , 0. ], [ 0. , 1. , -0.5]])
- X_test = np.array([[ -3., -1., 4.]])
- X_test_maxabs = max_abs_scaler.transform(X_test) #out: array([[-1.5, -1. , 2. ]])
- max_abs_scaler.scale_ #out: array([ 2., 1., 2.])
更多的数据预处理方法参考官方文档:http://scikit-learn.org/stable/modules/preprocessing.html#standardization-or-mean-removal-and-variance-scaling
参考官方文档:http://scikit-learn.org/stable/modules/preprocessing.html
官网:http://scikit-learn.org/stable/
机器学习中的数据预处理(sklearn preprocessing)相关推荐
- sklearn学习笔记(一)——数据预处理 sklearn.preprocessing
python sklearn 更多 个人分类: Python 数据处理 sklearn 数据预处理 sklearn.preprocessing 查看全文 http://www.taodudu.cc/n ...
- 深入浅出python机器学习_9.1_数据预处理_sklearn.preprocessing.StandardScaler MinMaxScaler RobustScaler Normalizer
# 使用StandardScaler进行数据预处理import numpyimport matplotlib.pyplot as pltfrom sklearn.datasets import mak ...
- 阅读宋立恒《AI制胜:机器学习极简入门》第2章:机器学习中的数据预处理
文章目录 一.数据预处理的重要性和原则 二.数据预处理方法介绍 (一)数据预处理案例--标准化.归一化.二值化 1.标准化.归一化.二值化 2.范例程序 (二)数据预处理案例--缺失值补全.标签化 1 ...
- pandas用众数填充缺失值_【机器学习】scikit-learn中的数据预处理小结(归一化、缺失值填充、离散特征编码、连续值分箱)...
一.概述 1. 数据预处理 数据预处理是从数据中检测,修改或删除不准确或不适用于模型的记录的过程 可能面对的问题有:数据类型不同,比如有的是文字,有的是数字,有的含时间序列,有的连续,有的间断. 也可 ...
- 机器学习-特征工程中的数据预处理
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
- sklearn 神经网络_sklearn中的数据预处理和特征工程
小伙伴们大家好~o( ̄▽ ̄)ブ,今天我们看一下Sklearn中的数据预处理和特征工程,老规矩还是先强调一下,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你 ...
- sklearn中eof报错_sklearn中的数据预处理和特征工程
小伙伴们大家好~o( ̄▽ ̄)ブ,今天我们看一下Sklearn中的数据预处理和特征工程,老规矩还是先强调一下,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你 ...
- sklearn中的数据预处理方法学习汇总
文章目录 sklearn中的数据预处理方法学习 一.标准化 Z-score标准化 Z-score标准化学习 Z-score标准化实现 Min-max标准化 MaxAbs标准化 二.非线性转换 映射到均 ...
- 机器学习项目中的数据预处理与数据整理之比较
要点 在常见的机器学习/深度学习项目里,数据准备占去整个分析管道的60%到80%. 市场上有各种用于数据清洗和特征工程的编程语言.框架和工具.它们之间的功能有重叠,也各有权衡. 数据整理是数据预处理的 ...
最新文章
- [分享]五种提高 SQL 性能的方法
- 全网最火的Nacos源码构建,你找不到第二个有我仔细的!!
- 孙立岩 python-basic: 用于学习python基础的课件(161718)
- MapReduce 进阶:Partitioner 组件
- All Things OpenTSDB
- linux 环境变量导出,关于Linux:如何删除导出的环境变量?
- php 异步进度条,PHP学习:PHP+Ajax异步带进度条上传文件实例
- 《孙哥说Spring5》学习笔记
- 屏幕触摸事件监听,判断上下左右的操作行为,判断方法缩小的操作行为
- (转)遇到重复的Maven项目初始配置,就要创建自己的Maven Archetype
- 增霸卡传输掉线/无法登录/再次登录时间长
- stata15导入csv中文乱码
- git添加文件到版本库中
- Bootstrap导航栏示例
- 【毕业设计】基于单片机的便携式空气质量检测仪 - 物联网 嵌入式
- Uninstall Tool 破解手记
- Excel中index和match结合解决vlookup匹配出错问题
- 演化博弈、复制动态方程与仿真
- 您应该遵循的15个UI测试自动化最佳实践(上)
- PCB抄板过程中反推原理图的方法
热门文章
- 【简洁代码】1071 小赌怡情 (15分)_22行代码
- [leetcode]160.相交链表
- 为什么消息队列不实现精准一次(exactly once)?
- java jpanel 间距_Java的 . 调整JPanel上的问题大小
- python对列表进行分页_python列表分页
- linux网络设置与基础服务命令(ifconfig、hostname、route、netstat、ss、ping、traceroute、nslookup、route)
- Docker相关概念与安装(Docker-CE)
- mysql 二进制转字符串_MySql字符转义 | 学步园
- Java 枚举7常见种用法
- 鼠标放到控件上 DIV悬浮提示效果(四种)