解析卷积神经网络学习笔记—

第二章 CNN基本部件

1.理解批处理和随机梯度下降：
训练模型时随机选取n个训练样本作为一个batch（批输入），那么经过设计好的卷积神经网络就可以输出n个预测值，对这n个预测值求其损失函数（注意损失函数绝不是一个样本一个样本求的，它是n个样本的总体误差，需要除以n的），然后用梯度下降的方法更新参数，这样的一次过程就叫批处理（mini-batch）
而我们选取样本的方式是不放回随机抽样直至遍历所有样本，就是我理解的随机梯度下降。

2.理解BP算法：
基于链式法则，其实就是求偏导时换元的问题。
注：
即X(i+1)对w(i)求偏导等于Xi
3.理解卷积的操作：
对于黑白图像仅有一个通道很好理解，就是用一个二维（如3X3）的矩阵去不断滑动黑白图像，提取特征。
而对于彩色图像，有RGB三个通道，它的输入比如是（6X6X3），这时我们一个卷积核，注意是一个卷积核，维度就是（比如3X3X3），卷积核的矩阵也需变成三个通道，然后对应相乘相加求和，得出只有一个二维矩阵了。
注意一个卷积核情况下会把原来输入的三个通道的矩阵变成一个通道，而我们可以选择用多个卷积核，比如选三个卷积核，即3个3X3X3矩阵来做卷积运算，此时我们获得矩阵就又有三个通道。
4.池化层：池化层的作用是防止过拟合化以及降低卷积之后得到的矩阵维度，（一般会设置多个卷积核得到多个维度的矩阵，此时池化会降低每个维度下的矩阵大小，从而减少计算量。与卷积操作不同的是，池化这一层它不改变输入的维度。

解析卷积神经网络学习笔记——魏秀参相关推荐

吴恩达 - 卷积神经网络学习笔记（一）
转载来源:http://www.cnblogs.com/marsggbo/p/8166487.html DeepLearning.ai学习笔记(四)卷积神经网络 – week1 卷积神经网络基础知识介 ...
吴恩达卷积神经网络学习笔记（六）|CSDN创作打卡
3.2 特征点检测神经网络可以通过输出图片上特征点的(x,y)坐标,来实现对目标特征的识别. 我们来看几个例子,假设你正在构建一个人脸识别应用,出于某种原因,你希望算法可以给出眼角的具体位置,眼角坐 ...
卷积神经网络学习笔记与心得（4）池化
图片经过卷积.激活后的结果一般带有大量原图信息. 上图中卷积核提取的是竖直方向上的连续像素,但是,被增强的像素只占了结果的1/3,对于多层网络,其余重要性较低的信息也被传入了下一层网络,造成了不必要的 ...
吴恩达深度学习卷积神经网络学习笔记(2)——经典神经网络
目录 1.经典网络 1.1 LeNet-5(1998) 1.2 AlexNet 1.3 VGG-16 2 ResNets(残差网络) 2.1残差块(Residual block) 2.2 残差网络为什 ...
卷积神经网络学习笔记
一.卷积神经网络结构: 卷积层 conv作用: 卷积层是一个n*n*m的权重矩阵,下图一目了然: channel:一个卷积层的核数,对rgb图像channel = 3 kernel size:卷积核的 ...
深度学习笔记之《解析卷积神经网络》附下载地址
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容 <解析卷积神经网络>是 @魏秀参博士撰写的深度学习实践手册,主要以卷积神 ...
卷积神经网络学习——第二部分：卷积神经网络训练的基本流程
卷积神经网络学习--第二部分:卷积神经网络训练的基本流程一.序言二.训练流程 1.数据集引入 2.构建网络 (1)四层卷积神经网络 (2)两层全连接层网络 3.模型训练 4.模型评估三.总结一 ...
实用卷积神经网络运用python pdf_解析卷积神经网络—深度学习实践手册中文pdf高清版...
解析卷积神经网络-深度学习实践手册从实用角度着重解析了深度学习中的一类神经网络模型--卷积神经网络,向读者剖析了卷积神经网络的基本部件与工作机理,更重要的是系统性的介绍了深度卷积神经网络在实践应用方面 ...
卷积神经网络学习路线（五）| 卷积神经网络参数设置，提高泛化能力？
前言这是卷积神经网络学习路线的第五篇文章,主要为大家介绍一下卷积神经网络的参数设置,调参技巧以及被广泛应用在了哪些领域,希望可以帮助到大家. 卷积神经网络的参数设置这个举个例子来说是最好的,因为直 ...
卷积神经网络学习路线（十九） | 旷世科技 2017 ShuffleNetV1
前言这是卷积神经网络学习路线的第19篇文章,主要为大家介绍一下旷世科技在2017年发表的ShuffleNet V1,和MobileNet V1/V2一样,也是一个轻量级的卷积神经网络,专用于计算力受 ...

解析卷积神经网络学习笔记——魏秀参

第二章 CNN基本部件

解析卷积神经网络学习笔记——魏秀参相关推荐

最新文章

热门文章