改善深层神经网络：超参数调整、正则化以及优化—

当β=0.98\beta=0.98β=0.98时，其实预测曲线是图中的紫色线，在一开始的时候由于v0=0v_0=0v0=0，导致前面部分的值低于预期的实际值，为了解决这个问题，加入了偏差修正。
vt=βvt−1+(1−β)θtv_t=\beta v_{t-1}+(1-\beta)\theta_tvt=βvt−1+(1−β)θt在指数加权平均早期，因为设定v0=0v_0=0v0=0，v1=0.98∗v0+0.02∗θ1v_1=0.98*v_0+0.02*\theta_1v1=0.98∗v0+0.02∗θ1，因为v0=0v_0=0v0=0，所以v1=0.02∗θ1v_1=0.02*\theta_1v1=0.02∗θ1，如果第一天温度是40华氏度，那么v1=8v_1=8v1=8，得到的值会小很多，所以第一天温度的估测不准。v2=0.0196∗θ1+0.02∗θ2v_2=0.0196*\theta_1+0.02*\theta_2v2=0.0196∗θ1+0.02∗θ2。

有个办法可以修改这一估测，让估测变得更好，更准确，特别是在估测初期。也就是不用vtv_tvt，而是用vt1−βt\frac{v_t}{1-\beta^t}1−βtvt，公式中的t是指现在的天数。

举个具体例子，当t=2时，1−βt=1−0.982=0.03961-\beta ^t=1-0.98^2=0.03961−βt=1−0.982=0.0396。因此对第二天温度的估测变成了v20.0396=0.0196∗θ1+0.02∗θ20.0396\frac{v_2}{0.0396}=\frac{0.0196*\theta_1+0.02*\theta_2}{0.0396}0.0396v2=0.03960.0196∗θ1+0.02∗θ2。

随着t的增加，公式中的βt\beta ^tβt的t次方将接近于0。所以当t很大的时候，偏差修正几乎没有作用。

改善深层神经网络：超参数调整、正则化以及优化——2.5 指数加权平均的偏差修正相关推荐

交叉验证和超参数调整：如何优化您的机器学习模型
In the first two parts of this article I obtained and preprocessed Fitbit sleep data, split the data ...
2020-6-9 吴恩达-改善深层NN-w3 超参数调试(3.3 超参数训练的实践：Pandas(资源少，一次一个模型) VS Caviar(资源多，一次多个模型))
1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-sta ...
改善深层神经网络：超参数调整、正则化以及优化——2.3指数加权平均
指数加权平均:vt=βvt−1+(1−β)θtv_t=\beta v_{t-1}+(1-\beta)\theta_tvt=βvt−1+(1−β)θt: 当β=0.9\beta=0.9β=0.9时 ...
2.5 指数加权平均的偏差修正-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.4 理解指数加权平均回到目录 2.6 动量梯度下降法指数加权平均的偏差修正 (Bias Correction in Exponentially Weighted Av ...
02.改善深层神经网络：超参数调试、正则化以及优化 W2.优化算法
文章目录 1. Mini-batch 梯度下降 2. 理解 mini-batch 梯度下降 3. 指数加权平均数 4. 理解指数加权平均数 5. 指数加权平均的偏差修正 6. 动量Momentum梯度 ...
深度学习（二）吴恩达给你的人工智能第一课： 02.改善深层神经网络：超参数调试、正则化以及优化
目录第一周深度学习的实用层面 1.1 训练 / 开发 / 测试集 1.1.1. 训练集.验证集.测试集 1.2 偏差 / 方差 1.3 机器学习基础 1.3.1.降低偏差/降低 ...
吴恩达deeplearning.ai系列课程笔记+编程作业(6)第二课改善深层神经网络-第二周：优化算法 (Optimization algorithms)
第二门课改善深层神经网络:超参数调试.正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and ...
深度学习笔记第二门课改善深层神经网络第二周：优化算法
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
python/keras中用Grid Search对神经网络超参数进行调参
原文:How to Grid Search Hyperparameters for Deep Learning Models in Python With Keras 作者:Jason Brownle ...

改善深层神经网络：超参数调整、正则化以及优化——2.5 指数加权平均的偏差修正

改善深层神经网络：超参数调整、正则化以及优化——2.5 指数加权平均的偏差修正相关推荐

最新文章

热门文章