推导反向传播中的dZ=A

在吴恩达老师的反向传播课程中，涉及到如下公式：

$dz = da * g^{'}(z)$ ，在向量化后为 $dZ = A - Y$ ，下述为推导过程：

因为 $da =\frac {\partial J(w,b)} {\partial a}$ ，且 $J(w,b) = \frac {1}{m} \sum_{i=1}^mL(\hat y,y)$ ，在最后一层网络中 $\hat y = a$

故

$da = \frac {1}{m} \sum_{i=1}^m \frac{\partial L(a,y)}{\partial a} = \frac{\partial L(a,y)}{\partial a}$

在逻辑回归中，损失函数

$L(a,y) = -ylog(a)-(1-y)log(1-a)$

故

$\frac{\partial L(a,y)}{\partial a} = \frac {-y}{a} + \frac{1-y}{1-a}$

又因为，在文章中所述的网络结构中，最后一层激活函数g(z)为sigmoid函数

$g(z) = \frac {1}{1+e^{-z}}$ ，故其导函数为

$g^{'}(z) = -\frac {1}{(1+e^{-z})^2} * e^{-z} * (-1) = \frac {e^{-z}}{(1+e^{-z})^2} = \frac {1}{1+e^{-z}} * (1-\frac{1}{1+e^{-z}}) = g(z) * (1-g(z))$

因为 $g(z) = a$ ，故

$g^{'}(z) = a * (1-a)$

所以

$dz = da * g^{'}(z) = (\frac {-y}{a} + \frac {1-y}{1-a}) * a(1-a) = a-y$

向量化后即为

$dZ = A-Y$

推导完后发现吴恩达老师其实在课件中已经推导过了（《吴恩达深度学习v5.57》的第54页），不过既然写了还是发出来吧╮(╯-╰)╭

顺便提一点， $dw = dz * a$ 向量化后为 $dW = \frac{1}{m}dZ*A^T$ ，其中加入 $\frac{1}{m}$ 求平均是因为防止样本过大而导致数值过大的情况。

在此也对吴恩达老师的课程以及黄海广博士整理的资料深表感谢(≧∇≦)ﾉ，赠人玫瑰，手有余香。

推导反向传播中的dZ=A - y相关推荐

Batch Normalization函数详解及反向传播中的梯度求导
摘要本文给出 Batch Normalization 函数的定义, 并求解其在反向传播中的梯度相关配套代码, 请参考文章 : Python和PyTorch对比实现批标准化Batch Normal ...
为什么在反向传播中感知器初始值不能为0_深度学习理论分享之——单层感知器简述...
1单层感知器概述单层感知器(Single Layer Perceptron)是最简单的神经网络.它包含输入层和输出层,而输入层和输出层是直接相连的.单层感知器属于感知器中最简单的一种分类器,属于机器学 ...
为什么在反向传播中感知器初始值不能为0_人工智能可以为我们做什么？世界皆可二分类...
三大门派之符号主义认为人工智能源于数理逻辑,其代表性的成果为启发式程序LT逻辑理论家,它证明了38条数学定理,表明了可以应用计算机研究人的思维过程,模拟人类智能活动.在这过程中,最重要的实际应用就是 ...
机器学习--多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
https://blog.csdn.net/oBrightLamp/article/details/84069835 正文在大多数教程中, softmax 和 cross-entropy 总是一起出 ...
详解+推导神经网络中的前向传播和反向传播公式（神经网络中的梯度下降）
文章目录线性回归快速回忆逻辑回归中的正向传播与反向传播逻辑回归中的正向传播与反向传播-代码实战神经网络的正向传播与反向传播参考资料线性回归快速回忆在线性回归(y=ax+by=ax+by= ...
关于反向传播算法中的残差推导理解
关于残差的理解;在反向传播中需要求得dW,db, dW=dL/dW=(dL/dz)*(dz/dw) 在这里dL/dz就是所谓的残差,最终残差的推导公式有: 所以 dW=dL/dW=(dL/dz)∗(d ...
机器学习之五：神经网络、反向传播算法推导
一.逻辑回归的局限在逻辑回归一节中,使用逻辑回归的多分类,实现了识别20*20的图片上的数字. 但所使用的是一个一阶的模型,并没有使用多项式,为什么? 可以设想一下,在原有400个特征的数据样本中, ...
梯度下降与反向传播算法的原理与推导
梯度下降算法是机器学习中最常用的优化算法之一,它可以求得目标函数的最小值,即算法的最优解.而对于复杂的多层神经网络来说,运用梯度下降算法十分复杂,因为其包含求导过程,为此学者将多层神经网络的优化问题简 ...
RNN与其反向传播算法——BPTT(Backward Propogation Through Time)的详细推导
前言一点感悟: 前几天简单看了下王者荣耀觉悟AI的论文,发现除了强化学习以外,也用到了熟悉的LSTM.之后我又想起了知乎上的一个问题:"Transformer会彻底取代RNN吗?" ...

推导反向传播中的dZ=A - y

推导反向传播中的dZ=A - y相关推荐

最新文章

热门文章