引言

在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放（feature scaling），比如：在随机梯度下降（stochastic gradient descent）算法中，特征缩放有时能提高算法的收敛速度。

什么是特征缩放

特征缩放的目标就是数据规范化，使得特征的范围具有可比性。它是数据处理的预处理处理，对后面的使用数据具有关键作用。

机器算法为什么要特征缩放

特征缩放还可以使机器学习算法工作的更好。比如在K近邻算法中，分类器主要是计算两点之间的欧几里得距离，如果一个特征比其它的特征有更大的范围值，那么距离将会被这个特征值所主导。因此每个特征应该被归一化，比如将取值范围处理为0到1之间。
第二个原因则是，特征缩放也可以加快梯度收敛的速度。

特征缩放的一些方法

调节比例（Rescaling）

这种方法是将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下：

x′=x−min(x)max(x)−min(x)

x' = \frac{x-min(x)}{max(x)- min(x)}
x x是最初的特征值，x' x′是缩放后的值。

平均值规范化(Mean normalisation)

x′=x−mean(x)max(x)−min(x)

x' = \frac{x-mean(x)}{max(x)- min(x)}

标准化(Standardization)

特征标准化使每个特征的值有零均值(zero-mean)和单位方差(unit-variance)。这个方法在机器学习地算法中被广泛地使用。例如：SVM，逻辑回归和神经网络。这个方法的公式如下：

x′=x−mean(x)std(x)

x' = \frac{x-mean(x)}{std(x)}
标准差的定义为：

std(x)=∑(x−mean(x))2n−−−−−−−−−−−−−−−√

std(x) = \sqrt{\frac{\sum(x-mean(x))^2}{n}}

缩放到单位长度(Scaling to unit length)

x′=x||x||

x'=\frac{x}{||x||}
就是除以向量的欧拉长度( the Euclidean length of the vector)，二维范数。

总结

数据的归一化和缩放非常重要，会影响到特征选择和对真实业务问题的判定。

参考

https://en.wikipedia.org/wiki/Feature_scaling

机器学习中的特征缩放（feature scaling）浅谈相关推荐

特征缩放 feature scaling
样本不同特征的取值范围如果不一样,可能导致迭代很慢,为了减少特征取值的影响,可以对特征数据进行缩放,加速算法的收敛.常见的映射范围有 [0,1][0, 1][0,1] 和 [−1,1][-1, 1][ ...
浅谈机器学习中的特征缩放（feature scaling）
引言在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放(feature scaling),比如:在随机梯度下降(stochastic gradient descent)算法中,特征缩放有时能 ...
特征缩放feature scaling（吴恩达版详解）
前言最近在学习吴恩达的深度学习,对于特征缩放的知识点很是困惑,不明白为什么它会加快收敛速度,在网上看大佬们的解答,大佬们也都是给了两个对比图之后就把这个问题带过去了,于是我认认真真,反复看了吴恩达的 ...
机器学习中的特征重要性 Feature Importance
Feature Importance 闲话几周没用CSDN,发现编辑器的字体变了.最近看了几篇讲特征重要性的文章.在这里[简要]记录一下我的总结,对不熟悉相关知识的读者做个导航. 优点知道数据中的 ...
机器学习中的特征是什么？机器学习知识点详解
在机器学习中,特征(feature)指的是描述一个实例的属性或特征,也可以称为自变量(independent variable)或输入变量(input variable).特征是机器学习中非常重要的概 ...
【机器学习】漫谈特征缩放
作者: 时晴说起"炼丹"最耗时的几件事,首先就能想到的就是数据清洗,特征工程,还有调参.特征工程真的是老生常谈了,但是特征工程又是最重要的一环,这一步做不好怎么调参也没用.在特征 ...
机器学习中的特征工程——分类变量的处理
出品 | CDA数据分析研究院,转载需授权文章目录分类变量概念判断类型少类别分类变量处理方法独热编码(One-hot encoding) 虚拟编码(Dummy coding) 效应编码( ...
机器学习中的特征——特征选择的方法以及注意点
机器学习中的特征--特征选择的方法以及注意点 https://blog.csdn.net/google19890102/article/details/40019271 关于机器学习中的特征我有话要说 ...
机器学习中的特征工程
机器学习中的特征工程什么是特征工程数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已.特征工程指的是把原始数据转变为模型的训练数据的过程,它的目的就是获取更好的训练数据特征,使得机器 ...

机器学习中的特征缩放（feature scaling）浅谈

引言