【AI面试题】特征归一化

2024-04-26 08:29:55

1. 概述

特征归一化是将所有特征都统一到一个大致相同的数值区间内，通常为[0，1]。主要是用来解决数据的量纲不同的问题。

2. 常用的特征归一化方法

1）Min-Max Scaling（归一化/区间缩放法）

对原始数据进行线性变换，使结果映射到[0,1]的范围，实现对数据的等比例缩放。

代码如下：

from sklearn.preprocessing import MinMaxScaler
x1 = MinMaxScaler().fit_transform(x)

2) Z-Score Standardization（标准化）

理论上，标准化适用于服从正态分布的数据，标准化后，其转换成标准正态分布（均值为0，标准差为1）。目前很多工程都依赖大数据，所以在样本足够多的情况下，工程师往往直接使用标准化对数据进行无量纲化预处理。在深度学习里，将数据标准化到一个特定的范围能够在反向传播中保证更好的收敛。如果不进行数据标准化，有些特征（值很大）将会对损失函数影响更大，使得其他值比较小的特征重要性降低。因此，数据标准化可以使得每个特征的重要性更加均衡。

代码如下：

from sklearn.preprocessing import StandardScaler
x1 = StandardScaler().fit_transform(x)

3. 哪些机器学习算法需要做特征归一化，为什么？

在采用梯度更新的学习方法（包括线性回归、逻辑回归、支持向量机、神经网络等）对模型求解过程中，未归一化的数值特征在学习时，梯度下降较为抖动，模型难以收敛（通常需要较长的时间模型才能收敛）；而归一化之后的数值特征则可以使梯度下降较为稳定，进而减少梯度计算的次数，也更容易收敛。下图中，左边为特征未归一化时，模型的收敛过程；而右边是经过特征归一化之后模型的收敛过程。

4. 哪些机器学习算法不需要做特征归一化，为什么？

以决策的树为基础的模型，比如随机森林、梯度提升决策树等。不需要给特征值做归一化。因为决策树的学习过程本质上是选择合适的特征，分裂并构建树节点的过程，而分裂节点的标准是由树构建前后的目标增益（比如信息增益和信息增益率）决定的。这些指标与特征值之间的数值范围差异并无关系，因此不需要做特征归一化。

【AI面试题】特征归一化相关推荐

AI基础：特征工程-数字特征处理
0.导语特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用. 在此之前,我已经写了以下几篇AI基础的快速入门,本篇文章讲解特征工程基础第二部 ...
为什么要做特征归一化/标准化？
作者:shine-lee 来源:极市平台公众号链接:https://blog.csdn.net/blogshinelee/article/details/102875044 编辑:王萌(深度学习冲鸭 ...
苹果、谷歌等大厂的AI面试题（转）
苹果.谷歌等大厂的AI面试题被我们搞到手了,你敢来挑战吗? 本文由「AI前线」原创**(ID:ai-front),**原文链接:苹果.谷歌等大厂的AI面试题被我们搞到手了,你敢来挑战吗? 作者 | ...
解读：为什么要做特征归一化/标准化？
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:shine-lee,编辑:极市平台本文解读了一项数据预处理中的重 ...
ML之KMeans：利用KMeans算法对Boston房价数据集(两特征+归一化)进行二聚类分析
ML之KMeans:利用KMeans算法对Boston房价数据集(两特征+归一化)进行二聚类分析目录利用KMeans算法对Boston房价数据集(两特征+归一化)进行二聚类分析设计思路输出结果 ...
ML之LiR：利用LiR线性回归算法(自定义目标函数MSE和优化器GD)对Boston房价数据集(两特征+归一化)进行回归预测
ML之LiR:利用LiR线性回归算法(自定义目标函数MSE和优化器GD)对Boston房价数据集(两特征+归一化)进行回归预测目录利用LiR线性回归算法(自定义目标函数MSE和优化器GD)对Bos ...
关于你不知道的特征归一化/标准化
目录 1. Feature scaling 的必要性 2. 常用的Feature scaling方法有什么 3. 什么时候需要feature scaling 4. 什么情况不需要Feature 1. ...
AI基础：特征工程-文本特征处理
0.导语特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用. 在此之前,我已经写了以下几篇AI基础的快速入门,本篇文章讲解特征工程基础第三部 ...
python array按行归一化_机器学习第40集：特征不归一化有什么危害？特征归一化公式是什么？( 含有笔记、代码、注释 )...
特征不归一化有什么危害?特征归一化公式是什么? ① 例如,我用一个人身高(cm)与脚码(尺码)大小来作为特征值,类别为男性或者女性.我们现在如果有5个训练样本,分布如下: A [(179,42),男] ...

最新文章

热门文章