数据标准化的原因及方法

一、为何要将数据标准化？

由于不同变量常常具有不同的单位和不同的变异程度。不同的单位常使系数的实践解释发生困难。例如：第1个变量的单位是kg，第2个变量的单位是cm，那么在计算绝对距离时将出现将两个事例中第1个变量观察值之差的绝对值（单位是kg）与第2个变量观察值之差的绝对值（单位是cm）相加的情况。使用者会说5kg的差异怎么可以与3cm的差异相加？不同变量自身具有相差较大的变异时，会使在计算出的关系系数中，不同变量所占的比重大不相同。例如如果第1个变量（两水稻品种米粒中的脂肪含量）的数值在2%到4%之间，而第2个变量（两水稻品种的亩产量）的数值范围都在1000与5000之间。为了消除量纲影响和变量自身变异大小和数值大小的影响，故将数据标准化。

二、数据标准化的方法：

1、对变量的离差标准化

离差标准化是将某变量中的观察值减去该变量的最小值，然后除以该变量的极差。即

x’_ik＝[x_ik－Min (x_k)]／R_k

经过离差标准化后，各种变量的观察值的数值范围都将在〔0，1〕之间，并且经标准化的数据都是没有单位的纯数量。离差标准化是消除量纲（单位）影响和变异大小因素的影响的最简单的方法。有一些关系系数（例如绝对值指数尺度）在定义时就已经要求对数据进行离差标准化，但有些关系系数的计算公式却没有这样要求，当选用这类关系系数前，不妨先对数据进行标准化，看看分析的结果是否为有意义的变化。

2，对变量的标准差标准化

标准差标准化是将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即

x’_ik ＝ (x_ik －)／s_k

经过标准差标准化后，各变量将有约一半观察值的数值小于0，另一半观察值的数值大于0，变量的平均数为0，标准差为1。经标准化的数据都是没有单位的纯数量。对变量进行的标准差标准化可以消除量纲（单位）影响和变量自身变异的影响。但有人认为经过这种标准化后，原来数值较大的的观察值对分类结果的影响仍然占明显的优势，应该进一步消除大小因子的影响。尽管如此，它还是当前用得最多的数据标准化方法。

3，先对事例进行标准差标准化，再对变量进行标准差标准化

第一步，先对事例进行标准差标准化，即将某事例中的观察值减去该事例的平均数，然后除以该事例的标准差。即

x’_ik ＝ (x_ik －)／s_i

第二步，再对变量进行标准差标准化，即将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即

x’’_ik ＝(x’_ik －’_k)／s’_k

使用这种标准化的目的也在于消除性状间的量纲（单位）影响和变异大小因子的影响，使性状间具有可比性。

4，先对变量、后对事例、再对变量的标准差标准化

这种标准化的目的也在于消除性状间的量纲（单位）影响和变异大小因子的影响，使性状间具有可比性。具体做法是：

第一步，先对变量进行标准差标准化，即将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即

x’_ik ＝ (x_ik －)／s_k

第二步，后对事例进行标准差标准化，即将某事例中的观察值减去该事例的平均数，然后除以该事例的标准差。即

x’’_ik ＝ (x’_ik －’_i)／s’_i

第三步，再对变量进行标准差标准化，即将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即

x’’’_ik ＝ (x’’_ik －’’_k)／s’’_k

进行了前两步之后，还要进行第三步的原因，主要是为了计算的方便。

数据标准化的原因及方法相关推荐

数据标准化的原因和方法
数据标准化的原因和方法原因由于不同变量常常具有不同的单位和不同的变异程度. 不同的单位常使系数的实践解释发生困难.例如:第1个变量的单位是kg,第2个变量的单位是cm,那么在计算绝对距离时将出 ...
python预处理标准化_tensorflow预处理：数据标准化的几种方法
tensorflow预处理:数据标准化的几种方法发布时间:2018-08-09 19:39, 浏览次数:1774 , 标签: tensorflow 数据归一化问题是数据挖掘中特征向量表达时的重要问题 ...
使用matlab进行数据标准化的两种方法
数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间.在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能 ...
tensorflow预处理：数据标准化的几种方法
数据归一化问题是数据挖掘中特征向量表达时的重要问题,当不同的特征成列在一起的时候,由于特征本身表达方式的原因而导致在绝对数值上的小数据被大数据"吃掉"的情况,这个时候我们需要做的就 ...
数据标准化处理方法_机器学习系列-数据预处理-数据标准化（归一化）-理论
在做一个具体的机器学习项目中,拿到收集到的数据后,一般都是需要做数据预处理,而标准化(暂时不考虑标准化和归一化的主要区别)是数据预处理中一个比较重要的环节,那么为什么需要对数据进行标准化处理呢? 数据 ...
数据预处理的步骤和方法
一.概述在工程实践中,我们得到的数据会存在有缺失值.重复值等,在使用之前需要进行数据预处理.数据预处理没有标准的流程,通常针对不同的任务和数据集属性的不同而不同.数据预处理的常用流程为:去除唯一属性 ...
数据缺失，数据异常，数据标准化的处理方法
数据缺失一.缺失值产生的原因缺失值的产生的原因多种多样,主要分为机械原因和人为原因.机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失,比如数据存储的失败,存储器损坏,机械故障导致某段 ...
python代码规范化_数据标准化方法及其Python代码实现
数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间.目前数据标准化方法有多种,归结起来可以分为直线型方法(如极值法.标准差法).折线型方法(如三折线法).曲线型方法 ...
python实现数据恢复_使用sklearn进行对数据标准化、归一化以及将数据还原的方法...
在对模型训练时,为了让模型尽快收敛,一件常做的事情就是对数据进行预处理. 这里通过使用sklearn.preprocess模块进行处理. 一.标准化和归一化的区别归一化其实就是标准化的一种方式,只不 ...

数据标准化的原因及方法

数据标准化的原因及方法相关推荐

最新文章

热门文章