浅谈机器学习中的特征缩放（feature scaling）

2024-05-11 09:16:56

引言

在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放（feature scaling），比如：在随机梯度下降（stochastic gradient descent）算法中，特征缩放有时能提高算法的收敛速度。下面我会主要介绍一些特征缩放的方法。

什么是特征缩放

特征缩放是用来标准化数据特征的范围。

机器算法为什么要特征缩放

特征缩放还可以使机器学习算法工作的更好。比如在K近邻算法中，分类器主要是计算两点之间的欧几里得距离，如果一个特征比其它的特征有更大的范围值，那么距离将会被这个特征值所主导。因此每个特征应该被归一化，比如将取值范围处理为0到1之间。

就如我在引言所说，特征缩放也可以加快梯度收敛的速度。

特征缩放的一些方法

调节比例（Rescaling）

这种方法是将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下：

x′=x−min(x)max(x)−min(x)

x' = \frac{x - min(x)}{max(x) - min(x)}

x x是最初的特征值， x′x'是缩放后的值。

标准化(Standardization)

特征标准化使每个特征的值有零均值(zero-mean)和单位方差(unit-variance)。这个方法在机器学习地算法中被广泛地使用。例如：SVM，逻辑回归和神经网络。这个方法的公式如下：

x′=x−x¯σ

x' = \frac{x - \bar x}{\sigma}

浅谈机器学习中的特征缩放（feature scaling）相关推荐

特征缩放 feature scaling
样本不同特征的取值范围如果不一样,可能导致迭代很慢,为了减少特征取值的影响,可以对特征数据进行缩放,加速算法的收敛.常见的映射范围有 [0,1][0, 1][0,1] 和 [−1,1][-1, 1][ ...
机器学习中的特征缩放（feature scaling）浅谈
引言在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放(feature scaling),比如:在随机梯度下降(stochastic gradient descent)算法中,特征缩放有时能 ...
特征缩放feature scaling（吴恩达版详解）
前言最近在学习吴恩达的深度学习,对于特征缩放的知识点很是困惑,不明白为什么它会加快收敛速度,在网上看大佬们的解答,大佬们也都是给了两个对比图之后就把这个问题带过去了,于是我认认真真,反复看了吴恩达的 ...
机器学习中的特征重要性 Feature Importance
Feature Importance 闲话几周没用CSDN,发现编辑器的字体变了.最近看了几篇讲特征重要性的文章.在这里[简要]记录一下我的总结,对不熟悉相关知识的读者做个导航. 优点知道数据中的 ...
欧几里得范数_浅谈机器学习中的范数
机器学习中范数的广义定义: 一个范数是一个真实的向量空间V中的关于|| . ||的一个函数映射关系,其满足以下3个条件 (1)||x|| ≥ 0,当且仅当 x=0的时候等号成立 (2)||αx|| = ...
浅谈机器学习中的过拟合
本篇博客主要是基于花书(古德费洛的<Deep Learning>)和西瓜书(周志华的<机器学习>)撰写的,其中插入了博主的一些个人见解,如有不对之处希望大家指出来一起来讨论一下 ...
浅谈机器学习中的QR分解
1. QR 分解的形式 QR 分解是把矩阵分解成一个正交矩阵与一个上三角矩阵的积.QR 分解经常用来解线性最小二乘法问题.QR 分解也是特定特征值算法即QR算法的基础.用图可以将分解形象地表示成: 其 ...
机器学习中的特征是什么？机器学习知识点详解
在机器学习中,特征(feature)指的是描述一个实例的属性或特征,也可以称为自变量(independent variable)或输入变量(input variable).特征是机器学习中非常重要的概 ...
浅谈机器学习之深度学习
浅谈机器学习之深度学习从人工智能到机器学习再到深度学习人工智能是个很大的知识集合体,但目前有个和它关系最大的学科---机器学习机器学习是一门多领域交叉学科,涉及概率论.统计学.逼近论.凸分析.算 ...

最新文章

热门文章