吴恩达深度学习 —— 4.3 核对矩阵的维数

当实现深度神经网络的时候，常用的检验代码是否有错的方法是拿出一张纸，然后过一遍算法中矩阵的维数，下面会向大家展示具体怎么做。

在上图的神经网络中，神经网络的层数为5层，总共有4个隐层和一个输出层，如果你想实现正向传播，第一步是z[1]=w[1]x+b[1]z^{[1]}=w^{[1]}x+b^{[1]}z[1]=w[1]x+b[1]，现在先忽略偏置项，只关注参数w。图中的第一隐藏层有三个隐藏单元，第一层隐藏层单元数是n[1]n^{[1]}n[1]，所以n[1]=3n^{[1]}=3n[1]=3，接下来n[2]=5n^{[2]}=5n[2]=5，n[3]=4n^{[3]}=4n[3]=4，n[4]=2n^{[4]}=2n[4]=2，n[5]=1n^{[5]}=1n[5]=1。到目前为止我们只看到过只有一个输出单元的神经网络，在之后会学习有多个输出单元的神经网络，最后回到输入层，n[0]=2n^{[0]}=2n[0]=2，然后我们看一下z，w和x的维数。z是第一个隐层的激活函数向量，z的维度为(3,1)(3,1)(3,1)，也就是一个三维的向量，也可以写成(n[1],1)(n^{[1]},1)(n[1],1)维向量；接着看输入特征x，x在这里有两个输入特征，所以x的维度为(2,1)(2,1)(2,1)，归纳起来x的维度就是(n[0],1)(n^{[0]},1)(n[0],1)，所以我们需要W[1]W^{[1]}W[1]这个矩阵就能够实现这样的结果，也就是当我们用W[1]W^{[1]}W[1]乘于一个(n[0],1)(n^{[0]},1)(n[0],1)维向量时，我们会得到一个(n[1],1)(n^{[1]},1)(n[1],1)维向量。根据矩阵的乘法规则，可以知道W[1]W^{[1]}W[1]的维度为(3,2)(3,2)(3,2)，也就是(n[1],n[0])(n^{[1]},n^{[0]})(n[1],n[0])维矩阵。

总结起来，W[l]W{[l]}W[l]的维度必须是(n[l],n[l−1])(n^{[l]},n^{[l-1]})(n[l],n[l−1])。现在再来看向量b的维度，在第一层中，b是一个(3,1)(3,1)(3,1)向量，如果做向量加法，必须加上一个(3,1)(3,1)(3,1)维度的矩阵，总结一下，b[l]b^{[l]}b[l]的维度为(n[l],1)(n^{[l]},1)(n[l],1)。

在实现反向传播的时候，dwdwdw的维度应该和WWW的维度相同，dbdbdb的维度应该和bbb的维度相同。我们还需要检查z，x和a[l]a^{[l]}a[l]的维度，因为z[l]z^{[l]}z[l]对应元素g[l](a[l])g^{[l]}(a^{[l]})g[l](a[l])，这里z和a的维度应该相同。

依照惯例，我们看看向量化的实现过程，这样就可以同时作用于多个样本。即使实现过程已经向量化了，w和dw，b和db的维度应该始终是一样的，但是Z，A以及X的维度会在向量化后发生变化。

在之前的情况中，z[1]=W[1]x+b[1]z^{[1]}=W^{[1]}x+b^{[1]}z[1]=W[1]x+b[1]，这种情况下z[1],W[1],x,b[1]z^{[1]},W^{[1]},x,b^{[1]}z[1],W[1],x,b[1]的维度分别是(n[1],1),(n[1],n[0]),(n[0],1),(n[1],1)(n^{[1]},1),(n^{[1]},n^{[0]}),(n^{[0]},1),(n^{[1]},1)(n[1],1),(n[1],n[0]),(n[0],1),(n[1],1)。

当一切向量化之后，Z[1]=W[1]X+b[1]Z^{[1]}=W^{[1]}X+b^{[1]}Z[1]=W[1]X+b[1]，Z[1]Z^{[1]}Z[1]是从每一个单独的z[1]z^{[1]}z[1]的值叠加得到的，所以Z[1]Z^{[1]}Z[1]的维度不再是(n[1],1)(n^{[1]},1)(n[1],1)，维度变为(n[1],m)(n^{[1]},m)(n[1],m)，其中m是训练集大小，W[1]W^{[1]}W[1]的维度还是一样的，维度大小为(n[1],n[0])(n^{[1]},n^{[0]})(n[1],n[0])，XXX维度不再是(n[0],1)(n^{[0]},1)(n[0],1)，而是把所有训练样本水平叠在一块，现在的维度为(n[0],m)(n^{[0]},m)(n[0],m)。当你把一个(n[1],n[0])(n^{[1]},n^{[0]})(n[1],n[0])矩阵乘于一个(n[0],m)(n^{[0]},m)(n[0],m)矩阵会得到一个(n[1],m)(n^{[1]},m)(n[1],m)矩阵，b[1]b^{[1]}b[1]的维度还是(n[1],1)(n^{[1]},1)(n[1],1)，当b加上(n[1],m)(n^{[1]},m)(n[1],m)矩阵矩阵时，使用python的广播机制，b会(n[1],m)(n^{[1]},m)(n[1],m)矩阵，然后逐个元素相加。

向量化之后，z[l]z^{[l]}z[l]的维度和a[l]a^{[l]}a[l]的维度从(n[l],1)(n^{[l]},1)(n[l],1)变为(n[l],m)(n^{[l]},m)(n[l],m)。还有个特别情况是当l等于0时，对应的A[0]A^{[0]}A[0]也就等于输入的特征向量x，A^{[0]}的维度应该是(n[0],m)(n^{[0]},m)(n[0],m)。

如果你在实现反向传播的话，我们会发现在计算了DZ[l]DZ{[l]}DZ[l]和DA[l]DA^{[l]}DA[l]之后，会发现它们的维度跟ZZZ和AAA是一样的，其维度为(n[l],m)(n^{[l]},m)(n[l],m)。

吴恩达深度学习 —— 4.3 核对矩阵的维数相关推荐

深度学习入门首推资料--吴恩达深度学习全程笔记分享
本文首发于微信公众号"StrongerTang",可打开微信搜一搜,或扫描文末二维码,关注查看更多文章. 原文链接:(https://mp.weixin.qq.com/s?__bi ...
吴恩达深度学习教程——中文笔记网上资料整理
吴恩达深度学习笔记整理内容为网上博主博文整理,如有侵权,请私信联系. 课程内容: Coursera:官方课程安排(英文字幕).付费用户在课程作业中可以获得作业评分,每门课程修完可获得结课证书:不付费 ...
Andrew Ng吴恩达深度学习Course_1笔记
基于吴恩达深度学习课程所记的相关笔记目录术语概念第一周深度学习概念第二周神经网络基础 Notation logistic回归函数 Loss function损失函数和Cost functi ...
[转载]《吴恩达深度学习核心笔记》发布，黄海广博士整理！
红色石头深度学习专栏深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容全面.通俗易懂并配备了丰富的实战项目.今天,给大家推荐一份关于该专项课程的核心笔记 ...
737 页《吴恩达深度学习核心笔记》发布，黄海广博士整理！
点击上方"AI有道",选择"置顶"公众号重磅干货,第一时间送达深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容 ...
吴恩达深度学习笔记1-Course1-Week1【深度学习概论】
2018.5.7 吴恩达深度学习视频教程网址网易云课堂:https://mooc.study.163.com/smartSpec/detail/1001319001.htm Coursera:htt ...
799页！吴恩达深度学习笔记.PDF
吴恩达深度学习课程,是公认的最优秀的深度学习课程之一,目前没有教材,只有视频,本文提供完整笔记下载,这本笔记非常适合和深度学习入门. 0.导语黄海广博士和同学将吴恩达老师深度学习视频课程做了完整的笔 ...
吴恩达深度学习课程的漫画版来了！（漫画、视频、笔记都可以下载了！）
吴恩达深度学习课程,个人认为是对初学者最友好的课程,非常系统.初学者如果希望快速入门,建议从这门课开始.由于是视频课,除了课程笔记之外,可以先看看课程漫画,更有助于理解. 尽管是英文版,但英文水平达到 ...
360题带你走进深度学习！吴恩达深度学习课程测试题中英对照版发布
吴恩达的深度学习课程(deepLearning.ai)是公认的入门深度学习的宝典,本站将课程的课后测试题进行了翻译,建议初学者学习.所有题目都翻译完毕,适合英文不好的同学学习. 主要翻译者:黄海广内 ...

吴恩达深度学习 —— 4.3 核对矩阵的维数

吴恩达深度学习 —— 4.3 核对矩阵的维数相关推荐

最新文章

热门文章