为什么要数据归一化和归一化方法
转自:https://zhuanlan.zhihu.com/p/27627299
在喂给机器学习模型的数据中,对数据要进行归一化的处理。
为什么要进行归一化处理,下面从寻找最优解这个角度给出自己的看法。
例子
假定为预测房价的例子,自变量为面积,房间数两个,因变量为房价。
那么可以得到的公式为:
其中代表房间数,代表变量前面的系数。
其中代表面积,代表变量前面的系数。
首先我们祭出两张图代表数据是否均一化的最优解寻解过程。
未归一化:
归一化之后
为什么会出现上述两个图,并且它们分别代表什么意思。
我们在寻找最优解的过程也就是在使得损失函数值最小的theta1,theta2。
上述两幅图代码的是损失函数的等高线。
我们很容易看出,当数据没有归一化的时候,面积数的范围可以从0~1000,房间数的范围一般为0~10,可以看出面积数的取值范围远大于房间数。
影响
这样造成的影响就是在画损失函数的时候,
数据没有归一化的表达式,可以为:
造成图像的等高线为类似椭圆形状,最优解的寻优过程就是像下图所示:
而数据归一化之后,损失函数的表达式可以表示为:
其中变量的前面系数几乎一样,则图像的等高线为类似圆形形状,最优解的寻优过程像下图所示:
从上可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。
这也是数据为什么要归一化的一个原因。
作用:对于不同的特征向量,比如年龄、购买量、购买额,在数值的量纲上相差十倍或者百千倍。如果不归一化处理,就不容易进行比较、求距离,模型参数和正确度精确度就会受影响,甚至得不出正确的结果。
举个例子:用梯度下降法求解最优解时,下图展示没有归一化和归一化处理两种情况下的求解过程。
左图表示没有归一化的求解过程;右图表示有归一化的处理过程。
X1、X2表示特征向量,数值区间分别为[0,2000],[1,5].
图中蓝线为等高线,红色为梯度下降求解线,中心红点为最优解。
左图的Z字形为未归一化处理的梯度下降求解过程。
右图的1字形为归一化处理后的梯度下降求解过程。
对比可知,归一化处理后,等高线更圆,求解得到的梯度方向更能直指圆心,收敛速度更快,效率更高。
如果不归一化,不但收敛速度慢,很可能找不到最优解。
归一化除了能够提高求解速度,还可能提高计算精度。
比如:计算样本距离时,如果特征向量取值范围相差很大,如果不进行归一化处理,则值范围更大的特征向量对距离的影响更大,实际情况是,取值范围更小的特征向量对距离影响更大,这样的话,精度就会收到影响。
归一化常用方法
1、线性归一化函数(Min-Max Scaling)
x’ = (x-min(x))/(max(x)-min(x))
把原始数据取值转换到[0,1]之间。
实际使用时,不同样本集得到的max/min可能不同,造成归一化结果不稳定,从而使模型后续使用也不稳定。
可以经验值来代替max/min,比如人的年龄,max=100,min=0。避免不同样本集max/min的不同造成的模型偏差。
2、0均值标准化(Z-score standardization)
x’ = (x-u)/theta.
u为样本均值,theta为样本方差。
转换后的数值服从均值为0,方差为1的高斯正态分布。
应用场景:原始数据(近似)高斯分布。否则归一化后的效果会很差。
3、非线性归一化(Nonlinear Scaling)
包括对数log,指数e,正切等。
应用场景:数据分化比较大,有些很大,有些很小,可能用此方法将数值映射到一个比较小的范围进行处理。log(V,2),log(V,10).
小结:
1、对于需要求距离的分类、聚类、相似度、协方差等,数据符合或者近似符合高斯正态分布时,PCA降维时,常用0均值标准化,可以得到较好的效果。
2、对于其他情况,如果数据分化不是很大,可以用线性归一化处理。
3、如果数据分化很大,可以用非线性归一化处理。
参考文章
1、http://blog.csdn.net/zbc1090549839/article/details/44103801
2、http://www.open-open.com/lib/view/open1429697131932.html
为什么要数据归一化和归一化方法相关推荐
- python实现数据恢复_使用sklearn进行对数据标准化、归一化以及将数据还原的方法...
在对模型训练时,为了让模型尽快收敛,一件常做的事情就是对数据进行预处理. 这里通过使用sklearn.preprocess模块进行处理. 一.标准化和归一化的区别 归一化其实就是标准化的一种方式,只不 ...
- 数据归一化处理方法_数据预处理:归一化和标准化
1. 概述 数据的归一化和标准化是特征缩放(feature scaling)的方法,是数据预处理的关键步骤.不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间 ...
- 数据标准化(归一化)
数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可 ...
- python归一化sklearn_用sklearn进行对数据标准化、归一化以及将数据还原详解
如何用sklearn进行对数据标准化.归一化以及将数据还原 在对模型训练时,为了让模型尽快收敛,一件常做的事情就是对数据进行预处理. 这里通过使用sklearn.preprocess模块进行处理. 一 ...
- dataframe数据标准化处理_数据预处理——标准化/归一化(实例)
这次我们来说说关于数据预处理中的数据标准化及归一化的问题.主要以理论+实例的方式为大家展示. 本次实验也将会展示部分数据以及代码,有兴趣的小伙伴可以自己动手试试~ 在本次实例过程中,我们使用的数据是: ...
- 数据预处理之归一化/标准化/正则化/零均值化
数据预处理之归一化/标准化/正则化/零均值化 一.标准化(Standardization) 二.归一化(Normalization) 三,中心化/零均值化 (Zero-centered) 四.正则化 ...
- 【ML】什么是数据标准化和归一化?应用场景是什么?
最近在为找工作备战,看了很多博客,总结机器学习中一些基础的知识. 什么是数据的标准化和归一化?在CSDN和知乎上有很多大佬做出了回答,看了有的人的回答,感觉会把自己气晕,完全是浪费时间并且误人子弟. ...
- 数据预处理--特征归一化
为什么需要对数值类型的特征归一化? 对数据进行特征归一化(Normalization)处理,可以使得数据的各个特征处于同一数值量级,而不会导致模型学习出来的结果倾向于数值差别比较大的那些特征. 常用的 ...
- 【深度学习/机器学习】为什么要归一化?归一化方法详解
[深度学习/机器学习]为什么要归一化?归一化方法详解 文章目录 1. 介绍 1.1 什么是归一化 1.2 归一化的好处 2. 归一化方法 2.1 最大最小标准化(Min-Max Normalizati ...
最新文章
- 柚子的小小笔记本-Linux中的简单运算
- 学会放下包袱,热爱单例
- 昨天又帮爸DIY了一台工作电脑
- 2021暑假生产实习【SSM实习项目-超市积分管理系统】博客汇总表
- 算法面试题-美团点评2016研发工程师编程题(二)-字符编码(哈夫曼树)
- 机器人踩滑板_不死神草、飞行滑板…超2000种创新发明在这里展出
- SpringBoot2.x Flowable 6.4.2 开源项目
- Bash、Terminal通过tab忽略大小写自动补全命令行提示
- FAILED Execution Error, return code 2 from org
- Atitit flowable使用总结 目录 1. flowable	1 1.1. 添加依赖	1 1.2. Flowable的启动接口	2 2. 还是使用简单流程来完成业务流程的学习,	2 2.1.
- CHIP-2020 中文医学文本实体关系抽取
- AC97 与 HD audio的区别
- PHP与前端谁的工资高,前端和后端哪个工资高一些
- 网页设计html颜色大全,50个使用柔和色彩的网页设计作品欣赏
- springBoot17_缓存:环境搭建、原理、Cacheable、CachePut、CacheEvit、Caching、阿里云镜像加速、整合redis作为缓存、缓存原理、自定义缓存
- 购物车程序流程图01
- PMP-7. 项目经理及其影响力
- CC00051.elasticsearch——|HadoopElasticSearch.V03|——|ELK.v03Logstash部署.V3|
- sublime text 3 javascript 语法检查
- [LUOGU] P3354 [IOI2005]Riv 河流
热门文章
- 如何在发布宝贝页面时嵌入视频
- CDA数据分析师认证证书含金量不断提高,成数据分析入门新刚需!
- 学习笔记-Ramnit 蠕虫分析
- iOS视频开发(二):视频H264硬编码
- 照片变漫画的方法有哪些?推荐两个方法给你
- 2022年建筑电工(建筑特殊工种)考试技巧及建筑电工(建筑特殊工种)复审模拟考试
- 微信小程序教程-富文本编辑器editor
- 解决‘WebDriver‘ object has no attribute ‘find_element_by_xpath‘问题
- 怎样用office Word2003打开docx格式文档???
- python轰炸敌机小游戏_python实现飞机大战微信小游戏