#归一化前：

#归一化后：

进行归一化的原因是把各个特征的尺度控制在相同的范围内，这样可以便于找到最优解，不进行归一化时如上图，进行归一化后如下图，可发现能提高收敛效率，省事多了。
在统计学中，归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1–+1之间是统计的坐标分布。

假设有两个变量，都是均匀分布，X1范围是100000到200000，X2的范围是1到2。现在请在一张A4纸上画个坐标，点出这些点。很显然，你会点出很多处于同一直线上的点，我们称这条直线为L。也就是说，如果现在我们要做一个classification的话，X2几乎可以被忽略。X2很无辜的被干掉了，仅仅因为所谓量纲的问题。即便X2不被干掉，我们现在继续求解，来做 gradient descent。很显然，如果某一步我们求得的下降方向不在直线L上，几乎可以肯定肯定这步不会下降。这就会导致不收敛，或者收敛但很慢。再来，我们做一遍归一化，全部化为[0,1]区间上。现在再在纸上画个坐标，点出这些点。好了，他们现在均匀的分布在一个圆的范围内。X2不会被忽略了，收敛的问题也解决了。

在量纲不一而对比标准统一的时候需要做归一化，归一化也有很多方法，正确选择方法对数据处理的有效性和精确性影响很大。

一张表有两个变量，一个是体重kg，一个是身高cm。假设一般情况下体重这个变量均值为60（kg），身高均值为170（cm）。1，这两个变量对应的单位不一样，同样是100，对于身高来说很矮，但对于体重来说已经是超重了。2，单位越小，数值越大，对结果的影响也越大，譬如170cm=1.7m。简单讲，归一化的目的是可以用数值来直接进行比较，如果不归一化由于变量特性不同，同样加10，代表的意义不一样。

去均值

各维度都减对应维度的均值，使得输入数据各个维度都中心化为0，进行去均值的原因是因为如果不去均值的话会不容易拟合。这是因为如果在神经网络中，特征值x比较大的时候，会导致W*x+b的结果也会很大，这样进行激活函数（如relu）输出时，会导致对应位置数值变化量太小，进行反向传播时因为要使用这里的梯度进行计算，所以会导致梯度消散问题，导致参数改变量很小，也就会不易于拟合，效果不好。

import numpy as np# 假设有一个数组 a
a = np.array([1, 2, 3, 4, 5,6])# 计算 a 的均值和标准差
mean = np.mean(a)
std = np.std(a)# 对 a 进行归一化处理
a_normalized = (a - mean) / std

归一化

一种是最值归一化，比如把最大值归一化成1，最小值归一化成-1；或把最大值归一化成1，最小值归一化成0。适用于本来就分布在有限范围内的数据。
另一种是均值方差归一化，一般是把均值归一化成0，方差归一化成1。适用于分布没有明显边界的情况。

归一化的意义笔记：归纳统一样本的统计分布性相关推荐

OpenGL超级宝典（第7版）笔记20 统一变量一致区块 uniform相关内容清单5.9-5.28
OpenGL超级宝典(第7版)笔记20 统一变量一致区块 uniform相关内容清单5.9-5.28 文章目录 OpenGL超级宝典(第7版)笔记20 统一变量一致区块 uniform相关内容 ...
考研复试——软件工程笔记归纳+思维导图
考研复试的软件工程重点归纳原文记录在我的幕布https://mubu.com/doc/3C3pXXIGg0上里面查看观感更好思维导图在最后,较为庞大.同样推荐到链接里面查看.点击查看思维导图即可 ...
Android学习笔记——归纳整理
目录一:Android系统架构二:Actvity相关 2.1基础相关 2.2 Intent相关 2.2.1 Intent的组成 2.2.2 显式Intent 2.2.3 隐式Intent 2.2. ...
2020年PMP笔记归纳第五章项目管理范围
第五章项目范围管理掌握第五章知识点学习内容: 内容章节 5.1 规划范围管理 5.2 收集需求 5.3 定义范围 5.4 创建WBS 5.5 确认范围 5.6 控制范围第五章PMBOK概述中的 ...
kafka 脚本发送_Kafka笔记归纳（第五部分:一致性保证，消息重复消费场景及解决方式）...
写在开头: 本章是Kafka学习归纳第五部分,着重于强调Kafka的事一致性保证,消息重复消费场景及解决方式,记录偏移量的主题,延时队列的知识点. 文章内容输出来源:拉勾教育大数据高薪训练营. 一致性 ...
ANN中批归一化的意义和在SNN中的转化
批归一化是一个深度神经网络训练的技巧,它不仅可以加快了模型的收敛速度,而且更重要的是在一定程度缓解了深层网络中"梯度弥散"的问题,从而使得训练深层网络模型更加容易和稳定.所以目前B ...
2020年PMP笔记归纳第三章项目经理的角色
第三章项目经理的角色掌握第三章项目经理的角色知识学习内容: 内容章节 3.1 概述 3.2 项目经理的定义 3.3 项目经理的影响力范围 3.4 项目经理的能力 3.5 执行整合 3.1 概述 ...
2020年PMP笔记归纳第七章项目成本管理
学习目标: 掌握项目成本管理学习内容: 章节内容 7.1 规划成本管理 7.2 估算成本 7.3 制定预算 7.4 控制成本第七章PMBOK概述中的重点内容项目成本管理包括为使项目在批准的预算内 ...
论文笔记：对抗样本 CVPR2021 Enhance Transferability of Adversarial Attacks through Variance Tuning
目录 Abstract 摘要 1. Introduction 引言 1.1 背景 1.2 引入 2. 相关工作 Related Work 2.1 对抗样本攻击 2.2 对抗样本防御 Adversari ...

归一化的意义笔记：归纳统一样本的统计分布性

去均值

归一化

归一化的意义笔记：归纳统一样本的统计分布性相关推荐

最新文章

热门文章