花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）

2024-04-28 18:15:43

目录

0. 前言

1. 单层卷积网络

2. 各参数维度

3. CNN 前向传播反向传播

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层

花书+吴恩达深度学习（十一）卷积神经网络 CNN 之池化层

花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层

花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）

花书+吴恩达深度学习（十四）卷积神经网络 CNN 之经典案例（LetNet-5, AlexNet, VGG-16, ResNet, Inception Network）

0. 前言

本篇文章主要介绍卷积神经网络的运算过程。

整体卷积神经网络的运算趋势，是行和列逐渐减小，通道数逐渐增加。

1. 单层卷积网络

此处以单个样本为例子。

原始图像（上一层输出）作为。
每一个过滤器的参数叠加在一起，组成这一层的权重。
为每个过滤器加上偏差，组成偏差，在卷积之后的 2D 图像的每一个像素上加上偏差。
通过激活函数，激活函数同样针对 2D 图像的每一个像素。
则，每一个过滤器计算出来为 2D 图像，多个过滤器组合起来作为 3D 图像，下一层的输入。

2. 各参数维度

3. CNN 前向传播反向传播

对于每一个 3D 图像，可以看成是，行（长），列（宽），通道（高）。

定义一个 4 维张量（也就是每一层的权重），表示位于，输出通道（这层第个过滤器，输出的第个通道），输入通道（每个过滤器的第个通道），行，列的值。

定义一个 3 维张量（也就是输入数据），表示位于，通道（上层的第个过滤器，输入的第个通道），行，列的值。

定义一个 3 维张量（也就是输出的 3D 数据），表示位于，通道（这层的第个过滤器，输出的第个通道），行，列的值。

则前向传播的卷积运算表示为：

在反向传播中，对的求梯度为：

使用梯度下降，对权重求梯度为：

如果不是神经网络的第一层，则需要对输入求梯度：

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）相关推荐

花书+吴恩达深度学习（十四）卷积神经网络 CNN 之经典案例（LetNet-5, AlexNet, VGG-16, ResNet, Inception Network）
目录 0. 前言 1. LeNet-5 2. AlexNet 3. VGG-16 4. ResNet 残差网络 5. Inception Network 如果这篇文章对你有一点小小的帮助,请给个关注, ...
花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层
目录 0. 前言 1. 全连接层(fully connected layer) 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN ...
花书+吴恩达深度学习（十一）卷积神经网络 CNN 之池化层
目录 0. 前言 1. 最大池化(max pooling) 2. 平移不变形 3. 其他池化函数 4. 卷积和池化作为一种无限强的先验如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常 ...
花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层
目录 0. 前言 1. 2D 图像卷积 2. 3D 图像卷积 3. 过滤器(核函数) 4. 过滤器应用于边缘检测 5. padding 填充 6. stride 步长 7. 使用卷积的动机 8. 1乘 ...
花书+吴恩达深度学习（二九）生成随机网络 GSN
文章目录 0. 前言 1. 生成随机网络 GSN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习(二七)深度生成模型之玻尔兹曼机及其变体(RBM, DB ...
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
文章目录 0. 前言 1. sigmoid 信念网络 2. 生成器网络 3. 变分自编码器 VAE 4. 生成式对抗网络 GAN 5. 生成矩匹配网络 6. 自回归网络 6.1 线性自回归网络 6.2 ...
花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）
文章目录 0. 前言 1. 将推断视为优化问题 1.1 期望最大化 EM 1.2 最大后验推断 MAP 1.3 稀疏编码 2. 变分推断 2.1 离散型潜变量 2.2 连续性潜变量如果这篇文章对你有 ...
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
文章目录 0. 前言 1. 对数似然梯度 1.1 朴素 MCMC 算法 1.2 对比散度算法 CD 1.3 随机最大似然 SML 2. 伪似然 3. 得分匹配 SM 4. 比率匹配 RM 5. 去噪得 ...
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
文章目录 0. 前言 1. 重要采样 2. 马尔可夫链蒙特卡罗 MCMC 3. 不同峰值之间的混合挑战如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习( ...

最新文章

热门文章