Exponentially Weighted Averages

2024-05-09 00:19:09

Exponentially Weighted Averages

vt=βvt−1+(1−β)θtvt=βvt−1+(1−β)θtv _{t} = \beta v _{t - 1} + \left (1 - \beta \right ) \theta _{t}
=β[βvt−2+(1−β)θt−1]+(1−β)θt=β[βvt−2+(1−β)θt−1]+(1−β)θt= \beta \left [ \beta v _{t - 2} + \left (1 - \beta \right ) \theta _{t - 1} \right ] + \left (1 - \beta \right ) \theta _{t}
=β2vt−2+β(1−β)θt−1+(1−β)θt=β2vt−2+β(1−β)θt−1+(1−β)θt= \beta ^2 v _{t - 2} + \beta \left (1 - \beta \right ) \theta _{t - 1} + \left (1 - \beta \right ) \theta _{t}
=βnvt−n+(1−β)∑i=0n−1βiθt−i=βnvt−n+(1−β)∑i=0n−1βiθt−i= \beta ^{n} v _{t - n} + \left (1 - \beta \right ) \sum \limits_{i = 0} ^{n - 1} \beta ^{i} \theta _{t - i}
令 n=⌊11−β⌋,n=⌊11−β⌋,n = \left \lfloor \dfrac {1} {1 - \beta} \right \rfloor, 则
limβ→1βn=limβ→1β⌊11−β⌋=limβ→1β11−β=1elimβ→1βn=limβ→1β⌊11−β⌋=limβ→1β11−β=1e\lim \limits_{ \beta \to 1} \beta ^{n} = \lim \limits_{ \beta \to 1} \beta ^{\left \lfloor \dfrac {1} {1 - \beta} \right \rfloor} = \lim \limits_{ \beta \to 1} \beta ^{ \dfrac {1} {1 - \beta} } = \dfrac {1} {e}
因此 vt≈1evt−n+1n∑i=0n−1βiθt−ivt≈1evt−n+1n∑i=0n−1βiθt−iv _{t} \approx \dfrac {1} {e} v _{t - n} + \dfrac {1} {n} \sum \limits_{i = 0} ^{n - 1} \beta ^{i} \theta _{t - i}
≈1n∑i=0n−1θt−i≈1n∑i=0n−1θt−i\approx \dfrac {1} {n} \sum \limits_{i = 0} ^{n - 1} \theta _{t - i}

Bias Correction

vt=⎧⎩⎨0,11−βt[βvt−1+(1−β)θt],t=0otherwisevt={0,t=011−βt[βvt−1+(1−β)θt],otherwisev _{t} = \begin{cases} 0, & t = 0 \\ \dfrac {1} {1 - \beta ^ t} \left [ \beta v _{t - 1} + \left (1 - \beta \right ) \theta _{t} \right ], & \text{otherwise} \end{cases}

性质

v1=θ1v1=θ1v _{1} = \theta _{1}
limt→+∞(1−βt)=1limt→+∞(1−βt)=1\lim \limits_{ t \to + \infty} \left (1 - \beta ^ t \right ) = 1

Exponentially Weighted Averages相关推荐

EWMA(Exponentially Weighted Moving Average)指数加权移动平均
原博:http://blog.csdn.net/sony_zhang/article/details/7256646 EWMA(Exponentially Weighted Moving Averag ...
吴恩达老师深度学习视频课笔记：优化算法
优化算法能够帮助你快速训练模型. mini-batch梯度下降法:把训练集分割(split)为小一点的子训练集,这些子集被叫做mini-batch. batch梯度下降法指的是:同时处 ...
计算机视觉技术图像分类_如何训练图像分类器并教您的计算机日语
计算机视觉技术图像分类介绍 (Introduction) Hi. Hello. こんにちは你好你好. こんにちは Those squiggly characters you just saw ...
deep learning 作業 2.2
为什么80%的码农都做不了架构师?>>> Optimization Methods Until now, you've always used Gradient Descent ...
【Paper】An Experiment Comparing Double Exponential Smoothing and Kalman Filter-Based Predict
算法 Paper DES (Double Exponential Smoothing) 算法 Kalman-Filter Algorithm KF EKF Exponentially Weighted ...
2.4 理解指数加权平均-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.3 指数加权平均回到目录 2.5 指数加权平均的偏差修正理解指数加权平均 (Understanding Exponentially Weighted Averages ...
2.3 指数加权平均-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.2 理解 mini-batch 梯度下降法回到目录 2.4 理解指数加权平均指数加权平均 (Exponentially Weighted Averages) 我想向你 ...
吴恩达深度学习课程deeplearning.ai课程作业：Class 2 Week 2 Optimization methods
吴恩达deeplearning.ai课程作业,自己写的答案. 补充说明: 1. 评论中总有人问为什么直接复制这些notebook运行不了?请不要直接复制粘贴,不可能运行通过的,这个只是notebook ...
吴恩达《优化深度神经网络》精炼笔记（3）-- 超参数调试、Batch正则化和编程框架...
AI有道不可错过的AI技术公众号关注重要通知本公众号原名"红色石头的机器学习之路"已经改名为"AI有道",请大家留意并继续关注本公众号!谢谢! 上节课我 ...
吴恩达深度学习笔记6-Course2-Week2【优化算法】
优化算法一.Mini-batch gradient descent(小批量梯度下降法) Mini-batch: 把整个训练数据集分成若干个小的训练集,即为Mini-batch. 为什么要分?梯度下降 ...

最新文章

热门文章