【李宏毅机器学习】backpropagation 反向传播（p13）学习笔记

李宏毅机器学习学习笔记汇总
课程链接

文章目录

Gradient Descent
Chain Rule链式法则
- 前向传播
- 反向传播
- - 情况一：红色的neural是属于网络的output layer的
  - 情况二：假设红色的neural并不是整个网络的output，后面还有其他的东西
Summary

Gradient Descent

BP只是为了更加高效地进行梯度计算。

Chain Rule链式法则

输入一个xnx^nxn，经过神经网络后，得到 yny^nyn，真实值是y^n\hat{y}^ny^n，定义一个yny^nyn和y^n\hat{y}^ny^n之间的距离的function CnC^nCn，CnC^nCn越小，代表神经网络的parameter很好。

求和所有训练数据的 CnC^nCn 得到total loss L，对某一个参数进行计算微分。

前向传播

先考虑一个单独的neural

如何计算∂z/∂w\partial{z}/\partial{w}∂z/∂w：
其值为该权重链接的输入值

在前馈时同时用变量存储了每层的梯度

反向传播

如何计算 ∂C/∂z\partial{C}/\partial{z}∂C/∂z：
假设∂C/∂z′\partial{C}/\partial{z}'∂C/∂z′ 和 ∂C/∂z′′\partial{C}/\partial{z}''∂C/∂z′′是已知的，进行后续计算。

把第二个式子带入第一个式子得到如下公式：

σ(z)\sigma(z)σ(z)在前向传播的时候就已经算出来了，是一个常量。

下面只需要求出∂C/∂z′\partial{C}/\partial{z}'∂C/∂z′ 和 ∂C/∂z′′\partial{C}/\partial{z}''∂C/∂z′′即可：

情况一：红色的neural是属于网络的output layer的

∂C/∂z′=(∂y1/∂z′)∗(∂C/∂y1)\partial{C}/\partial{z'}=(\partial{y_1}/\partial{z'})*(\partial{C}/\partial{y_1})∂C/∂z′=(∂y1/∂z′)∗(∂C/∂y1)

(∂y1/∂z′)(\partial{y_1}/\partial{z'})(∂y1/∂z′)：只需要知道后面的激活函数是什么即可，因为y1=σ(z′)y_1=\sigma(z')y1=σ(z′)

(∂C/∂y1)(\partial{C}/\partial{y_1})(∂C/∂y1)：知道损失函数、output和target之间是如何evaluate评价的（cross entropy或者mean square error）

在这种情况下（图中蓝色的激活函数是最后一个隐藏层的激活函数，后面就是输出层了），这样就已经完成了。

情况二：假设红色的neural并不是整个网络的output，后面还有其他的东西

从前往后算没有效率，所以要从输出层开始倒着算

在做反向传播的时候，实际上是建立了另外一个神经网络，正向网络中的激活函数都是sigmoid函数；现在需要建立一个反向的神经网络，在前向传播之后，再计算反向传播的激活函数，反向传播神经网络的输入是∂C/∂z5\partial{C}/\partial{}z_5∂C/∂z5 和 ∂C/∂z6\partial{C}/\partial{z_6}∂C/∂z6，其他部分和正向的神经网络运算完全一致。

Summary

如何反向传播？
1、做一个前向传播，知道每一个激活函数的output，就得到了他所连接的weight的∂z/∂w\partial{z}/\partial{w}∂z/∂w

2、在反向传播中，要把原来的神经网络的方向反转，他的每一个三角形的output是∂C/∂z\partial{C}/\partial{z}∂C/∂z，将前向传播得到的∂z/∂w\partial{z}/\partial{w}∂z/∂w 与现在反向传播得到的∂C/∂z\partial{C}/\partial{z}∂C/∂z相乘，就得到了某一个weight对w的C的偏微分∂C/∂w\partial{C}/\partial{w}∂C/∂w是什么了~