通俗解释指数加权平均

前言
在深度学习优化算法中，我们会涉及到指数加权平均这个概念，下面我将通过例子来一步一步引出这个概念。

平均数求法
比如我们现在有100天的温度值，要求这100天的平均温度值。

24，25，24，26，34，28，33，33，34，35…32。

我们直接可以用公式：

通过上面的公式就可以直接求出10天的平均值。而我们要介绍的指数加权平均本质上就是一种近似求平均的方法。

指数加权平均
我们现在直接给出公式：

化简开得到如下表达式：

通过上面表达式，我们可以看到，V100等于每一个时刻天数的温度值再乘以一个权值。

本质就是以指数式递减加权的移动平均。各数值的加权而随时间而指数式递减，越近期的数据加权越重，但较旧的数据也给予一定的加权。

而在我们上面提到的普通平均数求法，它的每一项的权值都是一样的，如果有n项，权值都为1/n。

指数加权平均的本质还可以用下图表示：

指数加权平均的结果是由当天温度值乘以指数衰减函数值，然后类和求得！

指数加权平均的优势
那么指数加权平均法有什么好处呢？首先我们来看它的实现：

我们可以看到指数加权平均的求解过程实际上是一个递推的过程，那么这样就会有一个非常大的好处，每当我要求从0到某一时刻（n）的平均值的时候，我并不需要像普通求解平均值的作为，保留所有的时刻值，类和然后除以n。

而是只需要保留0-(n-1)时刻的平均值和n时刻的温度值即可。也就是每次只需要保留常数值，然后进行运算即可，这对于深度学习中的海量数据来说，是一个很好的减少内存和空间的做法。

通俗解释指数加权平均相关推荐

2.4 理解指数加权平均-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.3 指数加权平均回到目录 2.5 指数加权平均的偏差修正理解指数加权平均 (Understanding Exponentially Weighted Averages ...
改善深层神经网络：超参数调整、正则化以及优化——2.3指数加权平均
指数加权平均:vt=βvt−1+(1−β)θtv_t=\beta v_{t-1}+(1-\beta)\theta_tvt=βvt−1+(1−β)θt: 当β=0.9\beta=0.9β=0.9时 ...
【视频】Python和R语言使用指数加权平均(EWMA)，ARIMA自回归移动平均模型预测时间序列...
原文链接:http://tecdat.cn/?p=21773 时间序列(从现在起称为TS)被认为是数据科学领域中鲜为人知的技能之一(点击文末"阅读原文"获取完整代码数据). 视频: ...
循环神经网络（RNN）原理通俗解释
循环神经网络(RNN)原理通俗解释 1.RNN怎么来的? 2.RNN的网络结构及原理 3.RNN的改进1:双向RNN 4.RNN的改进2:深层双向RNN 4.1 Pyramidal RNN 5.RNN ...
2.2.2 指数加权平均
指数加权平均下面介绍一下比梯度下降更快的算法,不过在这之前,你要了解指数加全平均. 如1和2所示,指数加权实际上就是设置一个权值.就像下图所示通过 11−β11−β \frac{1}{1-\bet ...
2.5 指数加权平均的偏差修正-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.4 理解指数加权平均回到目录 2.6 动量梯度下降法指数加权平均的偏差修正 (Bias Correction in Exponentially Weighted Av ...
2.3 指数加权平均-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.2 理解 mini-batch 梯度下降法回到目录 2.4 理解指数加权平均指数加权平均 (Exponentially Weighted Averages) 我想向你 ...
协方差、相关系数---通俗解释
一.协方差的意义学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差.首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数学的孩子都应该知道吧 ...
Fleury (弗罗莱) 算法通俗解释
Fleury (弗罗莱) 算法通俗解释 1.定义 2.举例说明图2为连通图G,现利用Fleury算法求它的欧拉通路.(注意区分:欧拉通路.欧拉回路) 其中一种欧拉通路如下:4 5 8 7 6 8 9 ...

通俗解释指数加权平均

通俗解释指数加权平均相关推荐

最新文章

热门文章