深层神经网络中的前向传播

2024-05-13 12:30:36

深层神经网络

那么什么算是深度神经网络呢？

如图所示，我们说逻辑回归是一个浅层模型，单隐层神经网络是一个双层神经网络，注意我们数网络层数的时候一定不要把输入层数进去，只是数隐藏层的数量，以及输出层。

我们约定，输入层用

x=a[0]x=a[0]

x=a^{[0]}
表示，输出层，用

y^=a[L]y^=a[L]

\hat{y} = a^{[L]}
表示。

深层神经网络中的前向传播

如何在深度学习中正确运用正向传播和反向传播呢？

我们先看一个训练样本x的情况，之后我们再向量化到全体样本。

如图所示，这是正向传播的整个过程，左边是按照单个样本，右边是整个进行向量化表示，你会发现，这个和单层神经网络十分相似，只是多重复了几遍，事实也的确如此。

核对矩阵维数

对于深层网络而言，涉及到的运算较多，如果不注意矩阵的维数，稍有不慎就可能出错，下面说一下如何避免这个问题。

如图所示，这是单个训练样本下的矩阵维数表示。w虽然不太好推出来，但是我们知道了z和x，所以根据z和x的矩阵维数，就可以得出w矩阵维数的情况。dw和db与w和b的矩阵维数是保持一致的。

如图所示，这是矩阵形式的表示方式。这里我们不再是一个样本，而变成了m个样本。需要注意的是，图中的左下角的对每个样本进行计算的时候，仍然应当是(n[1],1)(n[1],1)(n^{[1]},1)的形式，但这里使用广播复制了m份，使得Z具有m列保持一致。

对于右侧的X我们可以看到，一个样本的维度是(n0,1)(n0,1)(n^{0},1)，具有m个样本，所以是m列，因此维度变为(n0,m)(n0,m)(n^{0},m)

深层神经网络中的前向传播相关推荐

4.2 深层网络中的前向传播-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.1 深层神经网络回到目录 4.3 核对矩阵的维数深层网络中的前向传播 (Forward Propagation in a Deep Network) 跟往常一样,我们 ...
吴恩达深度学习 —— 4.2 深层网络中的前向传播
在下图神经网络中,假设有一个训练样本x,在第一层里需要计算z[1]=W[1]x+b[1]z^{[1]}=W^{[1]}x+b^{[1]}z[1]=W[1]x+b[1],其中W[1]W^{[1]}W[1 ...
深度学习：神经网络中的前向传播和反向传播算法推导
1. 神经网络这是一个常见的神经网络的图: 这是一个常见的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层,当我们输入x1,x2,x3等数据时,通 ...
详解+推导神经网络中的前向传播和反向传播公式（神经网络中的梯度下降）
文章目录线性回归快速回忆逻辑回归中的正向传播与反向传播逻辑回归中的正向传播与反向传播-代码实战神经网络的正向传播与反向传播参考资料线性回归快速回忆在线性回归(y=ax+by=ax+by= ...
4.3 深层网络中的前向传播
神经网络中的前向和后向算法
看了一段时间的深度网络模型,也在tf和theano上都跑了一些模型,但是感觉没有潜下去,对很多东西的理解都只停留在"这个是干什么的"层次上面.昨天在和小老师一起看一篇文章的时 ...
神经网络理解：前向传播与反向传播
文章目录参考资料神经网络前向传播 1. 输入层->隐含层 2. 隐含层->输出层反向传播 1. 计算总误差 2. 隐藏层与输出层之间的权重更新 3. 输入层与隐藏层之间的权重更新 ...
SF BAY ACM TALK：深层神经网络中的大规模自调整
原文:https://calculatedcontent.com/2019/04/01/sf-bay-acm-talk-heavy-tailed-self-regularization-in-deep ...
深度学习（三）——深层神经网络
深层神经网络深层神经网络中的前向传播训练单个样本: 第一层: z[1]=w[1]x+b[1]a[1]=g(z[1])\begin{array}{l} {z^{[1]}} = {w^{[1]}}x ...

最新文章

热门文章