吴恩达深度学习 —— 3.10 直观理解反向传播

z[1]=W[1]x+b[1]z^{[1]}=W^{[1]}x+b^{[1]}z[1]=W[1]x+b[1]a[1]=σ(z[1])a^{[1]}=\sigma(z^{[1]})a[1]=σ(z[1])z[2]=W[2]a[1]+b[2]z^{[2]}=W^{[2]}{a^{[1]}}+b^{[2]}z[2]=W[2]a[1]+b[2]a[2]=σ(z[2])a^{[2]}=\sigma (z^{[2]})a[2]=σ(z[2])Loss(a[2],y)Loss(a^{[2]},y)Loss(a[2],y)这里的损失函数使用的是逻辑回归的损失函数。da[2]=dLossda[2]=−ya[2]+1−y1−a[2]da^{[2]}=\frac{dLoss}{da^{[2]}}=-\frac{y}{a^{[2]}}+\frac{1-y}{1-a^{[2]}}da[2]=da[2]dLoss=−a[2]y+1−a[2]1−yda[2]dz[2]=a[2](1−a[2])\frac{da^{[2]}}{dz^{[2]}}=a^{[2]}(1-a^{[2]})dz[2]da[2]=a[2](1−a[2])dz[2]=dLossdz[2]=dLossda[2]∗da[2]dz[2]=a[2]−ydz^{[2]}=\frac{dLoss}{dz^{[2]}}=\frac{dLoss}{da^{[2]}}*\frac{da^{[2]}}{dz^{[2]}}=a^{[2]}-ydz[2]=dz[2]dLoss=da[2]dLoss∗dz[2]da[2]=a[2]−ydW[2]=dz[2]a[1].T=(a[2]−y)a[1].TdW^{[2]}=dz^{[2]}a^{[1].T}=(a^{[2]}-y)a^{[1].T}dW[2]=dz[2]a[1].T=(a[2]−y)a[1].Tdb[2]=dz[2]=(a[2]−y)db^{[2]}=dz^{[2]}=(a^{[2]}-y)db[2]=dz[2]=(a[2]−y)这就完成了反向传播的一半。dz(2)da[1]=W[2].T\frac{dz^{(2)}}{da^{[1]}}=W^{[2].T}da[1]dz(2)=W[2].Tda[1]dz[1]=g′[1](z[1])\frac{da^{[1]}}{dz^{[1]}}=g^{'[1]}(z^{[1]})dz[1]da[1]=g′[1](z[1])dz[1]=W[2].Tdz[2]g′[1](z[1])dz^{[1]}=W^{[2].T}dz^{[2]}g^{'[1]}(z^{[1]})dz[1]=W[2].Tdz[2]g′[1](z[1])dW[1]=dz[1].x.TdW^{[1]}=dz^{[1]}.x^{.T}dW[1]=dz[1].x.Tdb[1]=dz[1]db^{[1]}=dz^{[1]}db[1]=dz[1]通过推导我们得到六个关键方程，如下图所示

通过向量化表示，可以表示为

在向量化的形式中，假设每一次只有m个训练数据用于进行反向传播，则dZ[2]dZ^{[2]}dZ[2]的维度为(1,m)(1,m)(1,m)。设隐层a的节点个数为n个，则A[1]A^{[1]}A[1]的维度为(m,n)(m,n)(m,n)，隐层到输出层的参数WWW的维度为(n,1)(n,1)(n,1)。通过dZ[2]A[1]TdZ^{[2]}A^{[1]T}dZ[2]A[1]T得到的是m个训练数据反向传播之后的维度为(n,1)(n,1)(n,1)的关于WWW的参数的导数。

对于参数bbb，由于bbb不是一个向量，只是一个值，因此在进行反向求导时需要用到np.sum()np.sum()np.sum()进行mmm个训练数据的求和。

吴恩达深度学习 —— 3.10 直观理解反向传播相关推荐

吴恩达深度学习 —— 2.10 m个样本的梯度下降
在之前的学习中,已经看到了如何计算导数,同时把梯度下降法应用到逻辑回归的一个训练样本上.现在要把它应用在m个训练样本上. 首先,时刻记住有关于成本函数J(w,b)的定义,前面介绍了针对单个训练数据怎么 ...
深度学习入门首推资料--吴恩达深度学习全程笔记分享
本文首发于微信公众号"StrongerTang",可打开微信搜一搜,或扫描文末二维码,关注查看更多文章. 原文链接:(https://mp.weixin.qq.com/s?__bi ...
吴恩达深度学习教程——中文笔记网上资料整理
吴恩达深度学习笔记整理内容为网上博主博文整理,如有侵权,请私信联系. 课程内容: Coursera:官方课程安排(英文字幕).付费用户在课程作业中可以获得作业评分,每门课程修完可获得结课证书:不付费 ...
吴恩达深度学习 | (18) 卷积神经网络专项课程第二周学习笔记
课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第四部分卷积神经网络专项的第二周课程:深度卷积网络:实例探究. 目录 1. 为什么要进行实例探究 2. 经典网络 3. ...
吴恩达深度学习笔记（四）
吴恩达深度学习笔记(四) 卷积神经网络CNN-第二版卷积神经网络深度卷积网络:实例探究目标检测特殊应用:人脸识别和神经风格转换卷积神经网络编程作业卷积神经网络CNN-第二版卷积神经网络 ...
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
深度学习笔记导航前言传送门卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
吴恩达深度学习 | (12) 改善深层神经网络专项课程第三周学习笔记
课程视频第三周PPT汇总吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第二部分改善深层神经网络专项的第三周课程:超参数调试.Batch Normalization和深度学习框架. 目录 1. ...
吴恩达深度学习 | (2) 神经网络与深度学习专项课程第二周学习笔记
课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第一部分神经网络和深度学习专项的第二周课程:神经网络基础.由于逻辑回归算法可以看作是一个单神经元(单层)的网络结构,为了 ...
吴恩达深度学习课程笔记之卷积神经网络（2nd week）
0 参考资料 [1] 大大鹏/Bilibili资料 - Gitee.com [2] [中英字幕]吴恩达深度学习课程第四课 - 卷积神经网络_哔哩哔哩_bilibili [3] 深度学习笔记-目录 ...

吴恩达深度学习 —— 3.10 直观理解反向传播

吴恩达深度学习 —— 3.10 直观理解反向传播相关推荐

最新文章

热门文章