指数加权平均与动量梯度下降法

文章目录

指数加权平均(Exponentially Weighted averages)
- 理解指数加权平均
- 实现指数加权平均数
- 我们为什么要使用指数加权平均数？
- 指数加权平均的偏差修正(bias correction)
动量梯度下降法(Momentum gradient descent)

指数加权平均(Exponentially Weighted averages)

上图的vt就是加权平均数，11−β表示其代表多少天的加权平均数上图的v_{t}就是加权平均数， \frac{1}{1-\beta}表示其代表多少天的加权平均数上图的vt就是加权平均数，1−β1表示其代表多少天的加权平均数
其由来就是指数加权经过这么11−β天叠加后已经接近于0了，后面就无意义了其由来就是指数加权经过这么\frac{1}{1-\beta}天叠加后已经接近于0了，后面就无意义了其由来就是指数加权经过这么1−β1天叠加后已经接近于0了，后面就无意义了

β取中间的值，例如上面所取的0.9，会更利于求平均值\beta取中间的值，例如上面所取的0.9，会更利于求平均值β取中间的值，例如上面所取的0.9，会更利于求平均值

理解指数加权平均

例如，对于V100，我们设置β=0.1那么对于下面的式子来说例如，对于V_{100}，我们设置\beta=0.1 那么对于下面的式子来说例如，对于V100，我们设置β=0.1那么对于下面的式子来说

V100=0.1θ100+0.1×0.9⋅θ99+0.1×(0.9)2⋅θ98+0.1×0.93⋅θ97V_{100}=0.1\theta_{100}+0.1×0.9·\theta_{99}+0.1×(0.9)^{2}·\theta_{98}+0.1×0.9^{3}·\theta_{97}V100=0.1θ100+0.1×0.9⋅θ99+0.1×(0.9)2⋅θ98+0.1×0.93⋅θ97

可以看到，其样式就是一个指数加权形式的平均数计算

实现指数加权平均数

我们为什么要使用指数加权平均数？

其编写代码过程中在计算机内存中只占据一行代码的内存，不同于传统的平均数计算方法，需要将所有数相加除以size，这种计算方式对于一个大型机器学习项目来说更加高效.

指数加权平均的偏差修正(bias correction)

当我们使用这个公式去计算时

前两天的值算出来会很小很小 V2=0.0196θ1+0.02θ2V2=0.0196\theta_1+0.02\theta_2V2=0.0196θ1+0.02θ2

很明显这是不符合实际的

所以我们需要想办法对初期的平均值进行修正于是我们想到了下面

将Vt除以1−βt，这样不仅解决了前期偏差的问题，而且在后期，随着t的增大1−βt会接近于0，从而没有影响将V_t除以1-\beta^t，这样不仅解决了前期偏差的问题，而且在后期，随着t的增大 1-\beta^t会接近于0，从而没有影响将Vt除以1−βt，这样不仅解决了前期偏差的问题，而且在后期，随着t的增大1−βt会接近于0，从而没有影响

所以，现在我们又有了一个新的超参数 β.

动量梯度下降法(Momentum gradient descent)

其与传统的batch gradient descent 的区别就在于在反向传播的过程中

我们还需要计算一次梯度的加权平均数

再进行批梯度下降

其优化体现每次梯度下降时纵轴的振幅变小了(因为我们对梯度求了指数加权平均数，大家可以对照上面上个二维图像，对有上有下求平均数)也就是降低了noisy，而横轴就算计算平均值也没有太大的影响，从而使得整个优化效率或者说速度大大提升了.

图片来自李宏毅教授的书

dW可以被理解为加速度
可见如果我们超参数β取为0.9 1-β就是0.1
那么每一次梯度计算都会考虑前面累积的梯度值，且其权重占据0.9
而这一次经过反向传播计算出的梯度dw所占的权重只有0.1
这样就保证了整个优化方向的稳定性
如果dw和原来方向不同那么也影响不大
如果dw和原来积累方向相同那么就又进一步加强积累也正反馈于后面的积累方向的准确性

几个实现的细节:

对于超参数β 一般默认都取值为0.9
所以，对于这个新的算法，梯度下降需要调整的超参数就成为了两个 learning rate α和权重 β
初始化对于新的梯度V_dw和V_db其都是元素为0的矩阵 size与dw db相同也与W相同
对于Momentum gradient descent，可以不考虑偏差修正(bias correction)的问题，因为我们一般设置β值为0.9，其代表我们每次考虑10个梯度样本，所以就不太需要考虑初始状态了.