卷积相关的符号和计算

单层卷积网络

首先执行线性函数，然后所有元素相乘做卷积。
具体做法是运用线性函数，再加上偏差，然后应用激活函数Relu。
也即是说，通过神经网络的一层，把一个6×6×3维度的a^[0]演化为一个4×4×2的维度a^[1]。

一个计算参数数目的小练习：

需要注意的是，参数的数目仅仅与过滤器的维度和数目有关（不论输入的图片有多大，参数的数目都不会改变）。
用这10个过滤器来提取特征，即使这些图片很大，但参数依旧保持较少的数目，这就是卷积神经网络的一个特征，为makes networks less prone to over-fitting。

简单卷积网络示例

第一卷积层输入数据：39×39×3。

第一卷积层：维度3×3，步长1，填充0，过滤器10个。
输出维度为39-3+1=37×37×10

第二卷积层输入数据（第一卷积层输出数据）：37×37×10。

第二卷积层：维度5×5，步长2，填充0，过滤器20个。
输出维度为(37-5)/2+1=17×17×20

第三卷积层输入数据（第二卷积层输出数据）：17×17×20。

第三卷积层：维度5×5，步长2，填充0，过滤器40个。
输出维度为(17-5)/2+1=7×7×40

全连接层输入数据（第三卷积层输出数据）：7×7×40。
拉成1维，最后根据分类要求确定最后一层的隐藏层单元数。这里为logistic回归或Softmax回归，隐藏层单元为1。

随着神经网络计算深度的不断加深，通常开始时的图像也要大一些（在这里初始值为39×39），高度和宽度会在一段时间内保持一致，然后随着网络深度的加深而逐渐减小（从39到37到17再到7），而信道数量在增加（从3到10到20到40）。在许多其他卷积神经网络中也可以看到这种趋势

典型的卷积网络的组成

卷积层
池化层
全连接层

吴恩达神经网络和深度学习-学习笔记-30-相关符号和计算+单层卷积网络+简单卷积网络示例相关推荐

吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络深度神经网络符号前向传播矩阵维度 m个样本为什么使用深层表示搭建深层神经网络块正向传播和反向传播前向和反向传播前向传播反向传播参数和超参数 ...
吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络神经网络概述神经网络表示计算神经网络的输出 m个样本的向量化 for loop 向量化向量化实现的解释激活函数 sigmoid tanh函数 ReLu ...
吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习（end-to-end deep learning ）
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸介绍直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...
吴恩达神经网络和深度学习-学习笔记-22-误差分析
单一误差分析假设我们面对一个猫分类器的准确率不够的原因. 队友看了一下算法分类出错的例子,注意到算法将一些够狗分类为猫. 在这种条件下,我们应不应该做一个项目专门处理狗?比如搜集更多的狗的图片,或者 ...
吴恩达神经网络和深度学习-学习笔记-21-何时该改变开发集+测试集或指标
需要我们改变开发集+测试集或指标的情况,是现有的指标或开发测试集并不能帮助我们选择出最好的模型! 如果你的评估指标,无法正确评估好算法的排名,那么就需要花时间定义一个新的评估指标. (加权来排除某一类 ...

吴恩达神经网络和深度学习-学习笔记-30-相关符号和计算+单层卷积网络+简单卷积网络示例

卷积相关的符号和计算

单层卷积网络

简单卷积网络示例

典型的卷积网络的组成

吴恩达神经网络和深度学习-学习笔记-30-相关符号和计算+单层卷积网络+简单卷积网络示例相关推荐

最新文章

热门文章