深度学习模型的前馈运算与反馈运算

前馈运算

假设现在网络的参数收敛到ω1,…,ωL−1\omega^{1}, \ldots, \omega^{L-1}ω1,…,ωL−1，进行feed- forward，将输入x1x_1x1送入网络，之后经过第一层操作ω1\omega^1ω1得到x2x_2x2，依次类推……直到得到输出xLx_LxL，

反馈运算

深度学习模型通常采用随机梯度下降法（SGD）和误差反向传播（error back propogation）进行模型参数更新。

每层操作主要对应两部分：

1.用于参数更新的 ∂z∂ωi\frac{\partial z}{\partial \boldsymbol{\omega}^{i}}∂ωi∂z，是误差关于参数ωi{\omega}^{i}ωi的导数
ωi←ωi−η∂z∂ωi(1)\omega ^ { i } \leftarrow \omega ^ { i } - \eta \frac { \partial z } { \partial \omega^ { i } } \tag{1} ωi←ωi−η∂ωi∂z(1)
η\etaη是每次SGD的步长（一般随epoch的增大而减小）

2.用于误差向前层的反向传播∂z∂xi\frac{\partial z}{\partial \boldsymbol{x}^{i}}∂xi∂z，是误差关于输入xix^ixi的导数。

下面，我们以第iii层参数更新为例，需要计算∂z∂ωi\frac{\partial z}{\partial \boldsymbol{\omega}^{i}}∂ωi∂z和∂z∂xi\frac{\partial z}{\partial \boldsymbol{x}^{i}}∂xi∂z，根据链式法则：
∂z∂(vec⁡(ωi)⊤)=∂z∂(vec⁡(xi+1)⊤)⋅∂vec⁡(xi+1)∂(vec⁡(ωi)⊤)(2)\frac{\partial z}{\partial\left(\operatorname{vec}\left(\boldsymbol{\omega}^{i}\right)^{\top}\right)}=\frac{\partial z}{\partial\left(\operatorname{vec}\left(\boldsymbol{x}^{i+1}\right)^{\top}\right)} \cdot \frac{\partial \operatorname{vec}\left(\boldsymbol{x}^{i+1}\right)}{\partial\left(\operatorname{vec}\left(\boldsymbol{\omega}^{i}\right)^{\top}\right)} \tag{2} ∂(vec(ωi)⊤)∂z=∂(vec(xi+1)⊤)∂z⋅∂(vec(ωi)⊤)∂vec(xi+1)(2)

∂z∂(vec⁡(xi)⊤)=∂z∂(vec⁡(xi+1)⊤)⋅∂vec⁡(xi+1)∂(vec⁡(xi)⊤)(3)\frac{\partial z}{\partial\left(\operatorname{vec}\left(\boldsymbol{x}^{i}\right)^{\top}\right)}=\frac{\partial z}{\partial\left(\operatorname{vec}\left(\boldsymbol{x}^{i+1}\right)^{\top}\right)} \cdot \frac{\partial \operatorname{vec}\left(\boldsymbol{x}^{i+1}\right)}{\partial\left(\operatorname{vec}\left(\boldsymbol{x}^{i}\right)^{\top}\right)} \tag{3} ∂(vec(xi)⊤)∂z=∂(vec(xi+1)⊤)∂z⋅∂(vec(xi)⊤)∂vec(xi+1)(3)

对于(2)和(3)式右侧所需要的数，由第i+1i+1i+1层的(3)式已经得到的有∂z∂xi+1\frac{\partial z}{\partial \boldsymbol{x}^{i+1}}∂xi+1∂z，即两式+号左边的式子。同时，在前馈运算时的第iii层，xix^ixi经wiw^iwi的作用得到xi+1x^{i+1}xi+1，反向求导可以直接得到∂vec⁡(xi+1)∂(vec⁡(ωi)⊤)\frac{\partial \operatorname{vec}\left(\boldsymbol{x}^{i+1}\right)}{\partial\left(\operatorname{vec}\left(\boldsymbol{\omega}^{i}\right)^{\top}\right)}∂(vec(ωi)⊤)∂vec(xi+1)和∂vec⁡(xi+1)∂(vec⁡(xi)⊤)\frac{\partial \operatorname{vec}\left(\boldsymbol{x}^{i+1}\right)}{\partial\left(\operatorname{vec}\left(\boldsymbol{x}^{i}\right)^{\top}\right)}∂(vec(xi)⊤)∂vec(xi+1)，即两式+号右边的式子。
再根据(1)式更新iii层的参数，并将∂z∂xi+1\frac{\partial z}{\partial \boldsymbol{x}^{i+1}}∂xi+1∂z作为误差传到i−1i-1i−1层。不断循环直到第1层，完成一个mini-batch的参数更新。

魏秀参《解析卷积神经网络——深度学习实践手册》